Hadoop集群怎样安装

这篇文章主要为大家展示了“Hadoop集群怎样安装”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“Hadoop集群怎样安装”这篇文章吧。一、安装环境
因为安装Hadoop集群需要的主机数量必须为奇数，这里我用虚拟机搭了三台主机。为了防止IP变动，IP应该设为静态IP。IP 主机名 操作系统 作用 192.168.121.201 Master.Hadoop CentOS6.6_x64 NameNode ResourceManager SecondaryNameNode 192.168.121.202 Slave1.Hadoop CentOS6.6_x64 DataNode NodeManager 192.168.121.203 Slave2.Hadoop CentOS6.6_x64 DataNode NodeManager 二、所需软件 1 JDK
可以去下载JDK，也可以用CentOS系统自带的OpenJDK。
若用系统自带的OpenJDK，只需在/etc/profile中设置并激活:# vi
/etc/profile export
JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64 export
CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export
PATH=$PATH:$JAVA_HOME/bin 使变量立马生效并检验# source
/etc/profile # echo
$JAVA_HOME /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64 2 Hadoop
下载地址：http://hadoop.apache.org/releases.html
这里我下载的是2.8.0的binary版本。三、配置主机间的无密码登录
在每台主机的/etc/hosts中添加192.168.121.201
Master.Hadoop 192.168.121.202
Slave1.Hadoop 192.168.121.203
Slave2.Hadoop
接下来，可参考http://blog.chinaunix.net/uid-29485627-id-4232161.html四、Hadoop集群安装 1 解压缩hadoop并移动到/usr/Hadoop[root@Master 桌面]# mv
hadoop-2.8.0.tar.gz /usr/ [root@Master 桌面]# cd /usr/ [root@Master
usr]# tar -zxvf hadoop-2.8.0.tar.gz [root@Master
usr]# mv hadoop-2.8.0 hadoop 2 创建hadoop存放临时文件的文件夹# cd /usr/hadoop # mkdir tmp 3 修改配置文件
(1)配置hadoop-env.sh中的JAVA_HOME[root@Master
usr]# cd etc/hadoop/ [root@Master
hadoop]# vi hadoop-env.sh
将export JAVA_HOME=${JAVA_HOME}
改为export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64
(2)配置core-site.xml fs.defaultFS hdfs://Master.Hadoop:9000 io.file.buffer.size 131072 hadoop.tmp.dir /usr/hadoop/tmp (3)配置hdfs-site.xml dfs.namenode.secondary.http-address Master.Hadoop:50090 dfs.replication 2 dfs.namenode.name.dir file:/usr/hadoop/hdfs/name dfs.datanode.data.dir file:/usr/hadoop/hdfs/data (4)配置yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.address Master.Hadoop:8032 yarn.resourcemanager.scheduler.address Master.Hadoop:8030 yarn.resourcemanager.resource-tracker.address Master.Hadoop:8031 yarn.resourcemanager.admin.address Master.Hadoop:8033 yarn.resourcemanager.webapp.address Master.Hadoop:8088 (5)配置mapred-site.xml mapreduce.framework.name yarn mapreduce.jobhistory.address Master.Hadoop:10020 mapreduce.jobhistory.address Master.Hadoop:19888
(6)配置slaves文件 [root@Master
hadoop]# vi slaves Slave1.Hadoop Slave2.Hadoop 4 复制hadoop配置好的包到其他主机上 # scp -r
/usr/hadoop Slave1.Hadoop:/usr/ # scp -r
/usr/hadoop Slave2.Hadoop:/usr/ 5 在三台机器上配置Hadoop环境变量 # vi
/etc/profile export HADOOP_HOME=/usr/hadoop export
PATH=$PATH:$HADOOP_HOME/bin
使变量立马生效并检验： # source
/etc/profile # echo
$HADOOP_HOME # echo $PATH 五、格式化节点

在Master.Hadoop主机上执行 # cd 香港云主机 /usr/hadoop/bin # ./hdfs
namenode -format

六、Hadoop集群全部启动
1 在Master.Hadoop主机上执行 # cd /usr/hadoop/sbin # ./start-dfs.sh #
./start-yarn.sh
2 在Master.Hadoop主机上执行jps [root@Master
sbin]# jps 6348 NameNode 6694
ResourceManager 6960 Jps 6546
SecondaryNameNode 3 在Slave1.Hadoop主机上执行jps [root@Slave1
hadoop]# jps 6016 DataNode 6251 Jps 6126 NodeManager 4 在Slave2.Hadoop主机上执行jps [root@Slave2
hadoop]# jps 5815 DataNode 6051 Jps 5923
NodeManager 5 在三台CentOS主机上随便打开firefox浏览器，输入http://192.168.121.201:8088 以上是“Hadoop集群怎样安装”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注开发云行业资讯频道！

相关推荐: 分布式文件菠菜平台搭建系统go-fastdfs

分布式文件系统go-fastdfs（类fastdfs）菠菜平台搭建 地瓜源码论坛diguaym.com联系方式：QQ：2152876294在运维 香港云主机管理等方面优于fastdfs，更人性化支持curl命令上传支持浏览器上传支持HTTP下载支持多机自动同步…