Hadoop–4.Hadoop安装配置

一、下载1.下载hadoop[root@master ~]# cd /usr/local/src/[root@master src]# wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
2.官网下载地址（可获最新）http://hadoop.apache.org/releases.html#Download
二.安装1.解压[root@master src]# tar zxvf hadoop-2.7.2.tar.gz
2.移动[root@master src]# mv hadoop-2.7.2 /usr/local/
3.向所有slave拷贝[root@master src]# rsync -av /usr/local/hadoop slave1:/usr/local/[root@master src]# rsync -av /usr/local/hadoop slave2:/usr/local/[root@master src]# rsync -av /usr/local/hadoop slave3:/usr/local/[root@master src]# rsync -av /usr/local/hadoop slave4:/usr/local/[root@master src]# rsync -av /usr/local/hadoop slave5:/usr/local/[root@master src]# rsync -av /usr/local/hadoop slave6:/usr/local/
三、配置1.创建目录[root@master ~]# mkdir -p /data/hadoop[root@master ~]# cd !$ && mkdir tmp dfs dfs/data dfs/name在所有slave完成相同操作。
2.配置core-site.xml文件[root@master hadoop]# vim /usr/local/hadoop/etc/hadoop/core-site.xml添加以下内容：注意：①hdfs后面的IP是master的ip②file后面跟的路径是创建tmp目录路径
3.配置hdfs-site.xml文件[root@master hadoop]# vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml添加以下内容：
4.配置mapred-site.xml文件[root@master hadoop]# cp /usr/local/hadoop/etc/hadoop/mapred-site.xmll.template /usr/local/hadoop/etc/hadoop/mapred-site.xml[root@master hadoop]# vim /usr/local/hadoop/etc/hadoop/mapred-site.xml添加以下内容：
5.配置yarn-site.xml文件[root@master hadoop]# vim /usr/local/hadoop/etc/hadoop/yarn-site.xml添加以下内容：注意：2048表示设置内存大小，建议2G以上，否则在分析是就可卡死界面。
6.修改配置hadoop-env.sh文件[root@master hadoop]# vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh修改以下内容：
7.修改配置yarn-env.sh文件[root@master hadoop]# vim /usr/local/hadoop/etc/hadoop/yarn-env.sh在第一if前添加以下内容：
8.修改配置slaves文件[root@master hadoop]# vim /usr/local/hadoop/etc/hadoop/slaves将所有slave的IP添加进入，例如：
9.同步配置文件[root@master hadoop]# rsync -av /usr/local/hadoop/etc/ slave1:/usr/local/hadoop/etc[root@master hadoop]# rsync -av /usr/local/hadoop/etc/ slave2:/usr/local/hadoop/etc[root@master hadoop]# rsync -av /usr/local/hadoop/etc/ slave3:/usr/local/hadoop/etc[root@master hadoop]# rsync -av /usr/local/hadoop/etc/ slave4:/usr/local/hadoop/etc[root@master hadoop]# rsync -av /usr/local/hadoop/etc/ slave5:/usr/local/hadoop/etc[root@master hadoop]# rsync -av /usr/local/hadoop/etc/ slave6:/usr/local/hadoop/etc
四、启动服务1.初始化[root@master hadoop]# /usr/local/hadoop/bin/hdfs namenode -format[root@master hadoop]# echo $?0注意：0表示无任何错误，如果大于0的自然数，说明初始化错误，看输出内容解决问题。
2.启动服 香港云主机务(yarn)[root@master hadoop]# /usr/local/hadoop/sbin/start-yarn.shstarting yarn daemonsstarting resourcemanager, logging to /usr/local/hadoop/logs/yarn-root-resourcemanager-master.out192.168.0.175: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-slave1.out192.168.0.191: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-slave6.out192.168.0.176: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-slave2.out192.168.0.184: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-slave5.out192.168.0.178: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-slave3.out192.168.0.183: starting nodemanager, logging to /usr/local/hadoop/logs/yarn-root-nodemanager-slave4.out注意：2.7.1的版本启动服务使用的脚本是start-all.sh（2.7.2已经弃用了）
3.停止服务(yarn)[root@master hadoop]# /usr/local/hadoop/sbin/stop-yarn.sh
4.启动服务(hdfs)[root@master ~]# /usr/local/hadoop/sbin/start-dfs.sh
5.停止服务(hdfs)[root@master ~]# /usr/local/hadoop/sbin/stop-dfs.sh
6.slave上查看是否启动hadoop[root@slave1 ~]# ps aux |grep java[root@slave1 ~]# netstat -nlp |grep java 如果没有yum -y install net-tools
5.浏览器访问http://192.168.0.194:8088http://192.168.0.194:50070
五、测试1.创建目录[root@master ~]# cd /usr/local/hadoop/[root@master hadoop]# bin/hdfs dfs -mkdir /123
2.查看目录[root@master hadoop]# bin/hdfs dfs -ls /
3.拷贝测试文件[root@master hadoop]# bin/hdfs dfs -copyFromLocal ./LICENSE.txt /123
4.分析文件（统计文件多个少单词）[root@master hadoop]# bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /123/LICENSE.txt /111/123/111/123：表示分析结果存放的目录jar：表示使用什么类型文件2.7.2.jar：表示具体使用的文件，这个最好TAB补全，不同的版本名称不一样。
5.查看分析结果[root@master hadoop]# bin/hdfs dfs -cat /111/123/part-r-00000
6.删除目录[root@master hadoop]# bin/hdfs dfs -rm -r /123
六、扩展内容1.启停单个节点（hdfs）启动Namenode：停止Namenode：启动Datanode：停止Datanode：
2.启停单个节点（yarn）启动ResourceManager：停止ResourceManager：启动NodeManager：停止NodeManager：启动WebAppProxy：停止WebAppProxy：
3.参考文献官网2.7.2文档网址：http://hadoop.apache.org/docs/stable/

相关推荐: win10系统怎么处理wifi经常掉线问题

这篇文章将为大家详细讲解有关win10系统怎么处理wifi经常掉线问题，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。1、在任务栏的“开始”按钮上点击鼠标右键，找到并点击打开“设备管理器”。2、在设备管理器窗口，找到网络适配器…