一、优化准备优化需要根据实际情况综合分析
1、关闭系统swap分区（如果未关闭的话）
在Hadoop中，如果使用系统默认设置，会导致swap分区被频繁使用，集群会不断发出警告。
对于每个作业处理的数据量和每个Task中用到的各种缓冲，用户都是完全可控的。
echo “vm.swappiness = 0” >> /etc/sysctl.conf
说明：尽量不使用交换分区，注意不是禁用
2、资源和配置信息2台namenode，5台datanode资源和配置信息
服务分布表如下所示：
软件版本：hadoop(hdfs+yarn) 2.7.3
hbase 1.2.4
查看CPU信息的命令：查看CPU型号# cat /proc/cpuinfo | grep name | cut -d: -f2 | uniq
查看物理CPU个数# cat /proc/cpuinfo |grep “physical id” | sort | uniq -c | wc -l
查看没有物理CPU中的core的个数，也就是核数# cat /proc/cpuinfo | grep “cpu cores” | uniq
查看逻辑CPU的个数# cat /proc/cpuinfo | grep “processor” | wc -l
CPU总核数= 物理CPU个数 * 每颗物理CPU的核数总逻辑CPU数 = 物理CPU个数 * 每颗物理CPU的核数 * 超线程数
资源情况：内存16GCPU8（8个物理CPU，单核，单线程）
3、dfs.datanode.max.xcievers （dfs.datanode.max.transfer.threads）这两个是一个参数，只不过前边一个是hadoop1.0之前的参数，表示datanode上负责进行文件操作的线程数。如果需要处理的文件过多，而这个参数设置得过低就会有一部分文件处理不过来，就会报下面这个异常：ERROR org.apache.hadoop.dfs.DataNode: DatanodeRegistration(192.168.10.103:50010,storageID=DS-1570581820-10.10.10.53-50010-1224117842339,infoPort=50075, ipcPort=50020):DataXceiver: java.io.IOException: xceiverCount 258 exceeds the limit of concurrent xcievers 256
linux系统中所有的文件操作都被绑定到一个socket上，进一步具体可以把他看做是一个线程。而这个参数就是指定这种线程的个数。在datanode里面有一个专门的线程组来维护这些线程，同时有一个守护线程来监视这个线程组的体量，它负责监测线程数量是否到达上线，超过就抛出异常。因为如果这样的线程过多，系统内存就会暴掉。对于参数dfs.datanode.max.transfer.threads还依照现有配置 8192
默认值：4096
4、dfs.namenode.handler.countNameNode用来处理来自DataNode的RPC请求的线程数量NameNode有一个工作线程池用来处理客户端的远程过程调用及集群守护进程的调用。处理程序数量越多意味着要更大的池来处理来自不同DataNode的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说，通常需要增大参数dfs.namenode.handler.count的默认值10。设置该值的一般原则是将其设置为集群大小的自然对数乘以20，即20logN，N为集群大小。如果该值设的太小，明显的状况就是DataNode在连接NameNode的时候总是超时或者连接被拒绝，但NameNode的远程过程调用队列很大时，远程过程调用延时就会加大。
集群大小是7,7的自然对数约等于2，所以这里的配置就是 20*log7 = 40
默认值：10
5、dfs.datanode.handler.countDataNode用来连接NameNode的RPC请求的线程数量
设置为20
默认值：10
二、PID相关准备hadoop 及 hbase的pid文件默认是放在/tmp下面的，这个你可以从启动关闭脚本中看出，不过这个目录会定时清理。这就产生一个问题，当再次关闭服务的时候，服务pid文件丢失就会产生jps不显示服务，但是web的管理页面可以正常访问的情况。我的解决办法就是手动生成缺水的pid文件，然后修改配置文件，重启服务。
1、NameNode 、DataNode 以及SecondaryNameNode 的pid配置hadoop-env.shexport HADOOP_PID_DIR=/data/hadoop_data/pidsexport HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}
JobHistory的pid配置mapred-env.shexport HADOOP_MAPRED_PID_DIR=/data/hadoop_data/pids
NodeManager和ResourceManager的pid配置yarn-env.shexport YARN_PID_DIR=/data/hadoop_data/pids
HMaster和HRegionServer 的pid配置hbase-env.shexport HBASE_PID_DIR=/data/hadoop_data/pids
PID文件的命令规则大家可以从脚本中找到
我这里并不是所有的pid文件路径都没有配置，需要配置的是MapReduce和yarn
2、集群中各节点服务启动情况以及PID文件存在情况192.168.10.101：$ jps194921 HMaster194352 DFSZKFailoverController539317 JobHistoryServer193972 NameNode
存在的pid文件：目录/data/hadoop_data/pidshadoop-hduser-namenode.pidhadoop-hduser-zkfc.pidhbase-hduser-master.pid
192.168.10.102：$ jps371963 DFSZKFailoverController371811 NameNode372121 HMaster
存在的pid文件：目录/data/hadoop_data/pidshadoop-hduser-namenode.pidhadoop-hduser-zkfc.pidhbase-hduser-master.pid
192.168.10.103：$ jps500043 JournalNode500164 NodeManager522618 HRegionServer499932 DataNode
存在的pid文件：目录/data/hadoop_data/pidshadoop-hduser-datanode.pidhadoop-hduser-journalnode.pidhbase-hduser-regionserver.pid
192.168.10.104：$ jps234784 NodeManager234636 JournalNode235070 HRegionServer234525 DataNode
存在的pid文件：目录/data/hadoop_data/pidshadoop-hduser-datanode.pidhadoop-hduser-journalnode.pidhbase-hduser-regionserver.pid
192.168.10.105：$ jps310371 HRegionServer48404 NodeManager48285 JournalNode48174 DataNode
存在的pid文件：目录/data/hadoop_data/pidshadoop-hduser-datanode.pidhadoop-hduser-journalnode.pidhbase-hduser-regionserver.pid
192.168.10.106：$ jps100855 HRegionServer435319 DataNode435456 NodeManager
存在的pid文件：目录/data/hadoop_data/pidshadoop-hduser-datanode.pidhbase-hduser-regionserver.pid
192.168.10.107：$ jps410010 NodeManager484955 HRegionServer409847 DataNode
存在的pid文件：目录/data/hadoop_data/pidshadoop-hduser-datanode.pidhbase-hduser-regionserver.pid
三、下面是具体的操作步骤
以下所有操作都是在hadoop集群服务管理用户hduser下操作的
1、生成PID文件根据实际情况创建相应的PID文件
jps命令可以查看起着哪些服务，然后查看pid文件目录/data/hadoop_data/pids，如果服务启动但是没有相应的pid文件，则需要创建该服务的pid文件。
echo PID > /tmp/mapred-hduser-historyserver.pid /tmp/yarn-hduser-resourcemanager.pid /tmp/yarn-hduser-nodemanager.pid
2、停止服务这里需要说的是hadoop+hbase+zookeep 香港云主机er集群服务启动关闭顺序
启动顺序zookeepeer->hadoop->hbase
停止顺序hbase->hadoop->zookeepeer
登录到192.168.10.101（主hbase服务器，主namenode服务器）停止hbase集群$ cd /data/hbase/bin$ ./stop-hbase.sh
停止hadoop集群$ cd /data/hadoop/sbin$ ./stop-all.sh
停止MapReduce历史记录服务$ cd /data/hbase/bin$ ./mr-jobhistory-daemon.sh stop historyserver
3、修改配置文件备份要修改的配置文件
修改配置文件vim /data/hadoop/etc/hadoop/mapred-env.sh添加：export HADOOP_MAPRED_PID_DIR=/data/hadoop_data/pids
vim /data/hadoop/etc/hadoop/yarn-env.sh添加：export YARN_PID_DIR=/data/hadoop_data/pids
vim /data1/hadoop/etc/hadoop/hdfs-site.xml修改如下：
添加如下：
vim /data/hbase/conf/hbase-env.sh添加如下：export HADOOP_HOME=/data/hadoop
vim /data/hbase/conf/hbase-site.xml修改如下：
在相应的配置文件目录把配置文件拷贝到其他节点$ for ip in 102 103 104 105 106 107;do scp /data/hadoop/etc/hadoop/mapred-env.sh 192.168.10.$ip:/data/hadoop/etc/hadoop/;done$ for ip in 102 102 104 105 106 107;do scp /data/hadoop/etc/hadoop/yarn-env.sh 192.168.10.$ip:/data/hadoop/etc/hadoop/;done$ for ip in 102 102 104 105 106 107;do scp /data/hadoop/etc/hadoop/hdfs-site.xml 192.168.10.$ip:/data/hadoop/etc/hadoop/;done$ for ip in 102 102 104 105 106 107;do scp /data/hbase/conf/hbase-env.sh 192.168.10.$ip:/data/hbase/conf/;done$ for ip in 102 102 104 105 106 107;do scp /data/hbase/conf/hbase-site.xml 192.168.10.$ip:/data/hbase/conf/;done
移除 HBase 里面的不必要 log4j 的 jar 包cd /data/hbase/libmv slf4j-log4j12-1.7.5.jar slf4j-log4j12-1.7.5.jar.bak
4、启动服务启动hadoop集群$ cd /data/hadoop/sbin$ ./start-all.sh
启动hbase集群$ cd /data/hbase/bin$ ./start-hbase.sh
启动MapReduce历史记录服务$ cd /data/hbase/bin$ ./mr-jobhistory-daemon.sh start historyserver
5、验证查看pid文件
192.168.10.101$ cd /data/hadoop_data/pids$ lltotal 24-rw-r–r– 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-namenode.pid-rw-r–r– 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-zkfc.pid-rw-r–r– 1 hduser hadoop 7 Jun 6 22:49 hbase-hduser-master.pid-rw-r–r– 1 hduser hadoop 33 Jun 6 22:49 hbase-hduser-master.znode-rw-r–r– 1 hduser hadoop 7 Jun 6 22:49 mapred-hduser-historyserver.pid-rw-r–r– 1 hduser hadoop 7 Jun 6 22:48 yarn-hduser-resourcemanager.pid
192.168.10.102$ lltotal 12-rw-r–r– 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-namenode.pid-rw-r–r– 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-zkfc.pid-rw-r–r– 1 hduser hadoop 7 Jun 6 22:49 hbase-hduser-master.pid
192.168.10.103$ lltotal 20-rw-r–r– 1 hduser hadoop 6 Jun 6 22:48 hadoop-hduser-datanode.pid-rw-r–r– 1 hduser hadoop 6 Jun 6 22:48 hadoop-hduser-journalnode.pid-rw-r–r– 1 hduser hadoop 6 Jun 6 22:49 hbase-hduser-regionserver.pid-rw-r–r– 1 hduser hadoop 43 Jun 6 22:49 hbase-hduser-regionserver.znode-rw-r–r– 1 hduser hadoop 6 Jun 6 22:48 yarn-hduser-nodemanager.pid
192.168.10.104$ lltotal 20-rw-r–r– 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-datanode.pid-rw-r–r– 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-journalnode.pid-rw-r–r– 1 hduser hadoop 7 Jun 6 22:49 hbase-hduser-regionserver.pid-rw-r–r– 1 hduser hadoop 43 Jun 6 22:49 hbase-hduser-regionserver.znode-rw-r–r– 1 hduser hadoop 7 Jun 6 22:48 yarn-hduser-nodemanager.pid
192.168.10.105$ lltotal 20-rw-r–r– 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-datanode.pid-rw-r–r– 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-journalnode.pid-rw-r–r– 1 hduser hadoop 7 Jun 6 22:49 hbase-hduser-regionserver.pid-rw-r–r– 1 hduser hadoop 43 Jun 6 22:49 hbase-hduser-regionserver.znode-rw-r–r– 1 hduser hadoop 7 Jun 6 22:48 yarn-hduser-nodemanager.pid
192.168.10.106$ lltotal 16-rw-r–r– 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-datanode.pid-rw-r–r– 1 hduser hadoop 7 Jun 6 22:49 hbase-hduser-regionserver.pid-rw-r–r– 1 hduser hadoop 43 Jun 6 22:49 hbase-hduser-regionserver.znode-rw-r–r– 1 hduser hadoop 7 Jun 6 22:48 yarn-hduser-nodemanager.pid
192.168.10.107$ lltotal 16-rw-r–r– 1 hduser hadoop 7 Jun 6 22:48 hadoop-hduser-datanode.pid-rw-r–r– 1 hduser hadoop 7 Jun 6 22:49 hbase-hduser-regionserver.pid-rw-r–r– 1 hduser hadoop 43 Jun 6 22:49 hbase-hduser-regionserver.znode-rw-r–r– 1 hduser hadoop 7 Jun 6 22:48 yarn-hduser-nodemanager.pid
查看调用是否正常
注意事项：事项一：如果生产环境有监控服务的脚本或者服务则需要先停止对于服务的监控，以防止服务停止时触发监控，进而自动重启服务。事项二：一定记得把配置文件同步到每个节点（各节点配置文件一致的话）
参考：官网文档：http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/ClusterSetup.html
官网配置参考：
http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
参考文章：https://blog.csdn.net/qq_26091271/article/details/50411383https://www.cnblogs.com/hanganglin/p/4563716.htmlhttps://blog.csdn.net/odailidong/article/details/79656188
这篇文章主要讲解了“Win10系统病毒误报怎么解决”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Win10系统病毒误报怎么解决”吧！Win10系统病毒误报解决方法：1、依次点击“开始”-“设置”。2、选择“更 …
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
