Hadoop学习–HA配置(不含zookeeper)–day05

1.HA配置(1).high availability,高可用 持续服务的能力 多台主机之间进行集群配置(2).failover,容灾(3).namenode , 2nn secondary namenode解决的可靠性问题(4).single point of failure(SPOF),单点故障 nn1+nn2(5).NFS(Network file System,共享存储设备EMC) +QJM(6).HA架构 两台主机,一台active,另外一台standby,active nn复制客户端所有操作. standby维护足够多的状态,随时提供容灾服务. Journal是单独的进程,用于active nn和standby nn之间的同步信息. active nn的ns修改动作写入到jns,standby nn从jn读取edit,需要不断观察log的变化 一旦log发生变化，standby就会同步到自己的namespace. datanode同时向两个nn发送块列表信息以及心跳. 同一时刻只能有一个active nn,如果两个都是active的namenode，叫做“脑裂”.
2.部署HA配置解析 一共有8台机器 hadoop01 192.168.0.11 namenode jouralnode resourcemanager hadoop02 192.168.0.12 datanode nodemanager hadoop03 192.168.0.13 datanode nodemanager hadoop04 192.168.0.14 datanode nodemanager hadoop05 192.168.0.15 datanode nodemanager hadoop06 192.168.0.16 datanode nodemanager hadoop07 192.168.0.17 secondarynamenode jouralnode hadoop08 192.168.0.18 namenode jouralnode(1).在hdfs-site.xml中配置名称服务:dfs.nameservices 名称服务的逻辑名 dfs.nameservices mycluster (2).配置nameservice中每个namenode dfs.ha.namenodes.[nameservice ID] dfs.ha.namenodes.mycluster nn1,nn2 注意：目前的hadoop2.7.2最多只能配置2个namenode(3).配置每个namenode的rpc地址 dfs.namenode.rpc-address.mycluster.nn1 s100:8020 dfs.namenode.rpc-address.mycluster.nn2 s800:8020 (4).配置每个namenode的webui地址 dfs.namenode.http-address.mycluster.nn1 machine1.example.com:50070 dfs.namenode.http-address.mycluster.nn2 machine2.example.com:50070 (5).配置namenode的共享edit log目录，实际上这是个逻辑目录 dfs.namenode.shared.edits.dir qjournal://s100:8485;s700:8485;s800:8485/mycluster (6).配置客户端容灾代理供应商类 供客户端用来检测哪个是namenode是活页节点 dfs.client.failover.proxy.provider.mycluster org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider (7).可选：配置HA防护方法名集合 QJM防止脑裂发生，不存在两个active node 可以配置sshfence或者shell脚本(8).在core-site.xml中配置hdfs的文件系统 fs.defaultFS hdfs://mycluster (9).配置JN的本地存放数据(edit log)的目录 dfs.journalnode.edit.dir /home/ubuntu/hadoop/journal
3.配置过程(1).首先将配置好的hdfs-site.xml和core-site.xml文件发送到所有的节点(2).在JN节点上启动journalnode进程 $hadoop-daemon.sh start journalnode(3).启动完成JN之后,需要在disk上完成两个nn的元数据同步工作 如果正在构建新的hdfs群集,需要先在一台 namenode上进行format工作 若已经格式化文件系统或者在non-ha的群集之上启用ha功能,需要复制现有的nn的目录(~/hadoop/dfs/name)到另外一台的nn的相同目录下,在未格式化的nn上执行命令:hdfs namnode -bootstrapStandby,该命令保证jn有足够多的edit来启动两个nn 如果正在将non-ha namenode转换成ha,执行命令hdfs namenode -initializeShareEdits,会从local的namenode编辑日志目录数据初始化到jns中.启动两个nn通过webui查看每个nn的状态 http://hadoop01:50070/ http://hadoop08:50070/(4).在s100上启动hdfs namenode -initializeShareEdits会有报错,关闭namenode解锁 s100$hadoop-daemon.sh stop namenode 然后再次执行: s100$hdfs namenode -initializeSharedEdits(5).然后启动两个nn s100$hadoop-daemon.sh start namenode s800$hadoop-daemon.sh start namenode(6).启动所有的数据节点 s100$hadoop-daemons.sh start datanode(7).切换活动的节点 s100$hdfs haadmin -transitionToActive nn1 这个时候s800将不能允许读了
4.机架感知(1).保证在交换机故障或者集群内部事件问题出现时,数据任然可用的,通过两种方式来实现配置机架感知 A:一种是通过配置一个脚本来进行映射 在core-site.xml中的topology.script.file.name参数指定脚本文件的位置 具体脚本见rack.sh和topology.data,把原来topology.data文件内容改了下,把hostname也添加进去了,这样保证正确性.因为JobTracker是通过hostname进行映射的. B:另外一种是通过实现DNSToSwtichMapping接口的resolve()方法来完成网络位置的映射dnsToSwitchMapping的值是由”core-site.xml”配置文件中”topology.node.switch.mapping.impl”参数指定,默认值是ScriptBaseMapping,也就是通过读提前写好的脚本文件来进行网络位置映射的,但如果这个脚本没有配置的话,那就使用默认值 “default-rack”作为所有节点的网络位置。自定义了一个MyResolveNetworkTopology类放在了core包的org.apache.hadoop.net目录下, 在“core-site.xml”文件中的配置如下: topology.node.switch.mapping.impl org.apache.hadoop.net.MyResolveNetworkTopology The default implementation of the DNSToSwitchMapping. It invokes a script specified in topology.script.file.name to resolve node names. If the value for topology.script.file.name is not set, the default value of DEFAULT_RACK is returned for all node names. (2).编写一个脚本或者实现接口org.apache.hadoop.net.DNSToSwitchMapping 返回数据格式如：’/myrack/myhost'(3).将自定义的机架感知类打成jar包,分发到所有节点的${hadoop_home}/share/hadoop/common/lib/(4).配置类，指定自定义的类名 topology.node.switch.mapping.impl 具体格式参照以上信息(5).删除所有节点的日志,启动namenode $bin/hadoop dfsadmin -printTopology来查看机架感知的位置信息 5.distcp集群间数据的拷贝(1).通过hadoop mr技术实现并行复制,递归复制文件夹.性能较高,可以实现跨集群复制(2).使用方法 $hadoop distcp hdfs://s100:8020/user/hadoop/data hdfs://X.X.X.X:8020/user/hadoop/new
14.归档(1).java jar //jar archieve(2).hadoop har //hadoop archieve$hadoop archive -archiveName new.har -p /user/hadoop/new /user/hadoop(3).删除垃圾箱 $hadoop fs -rm -R -f /user/hadoop/.Trash(4).查看归档文件的内容 $hadoop fs -lsr har:///user/hadoop/new.har
6.数据完整性(1).校验和 Checksum(2).CRC-32 cycle redundent check-32(3).指定校验的字 香港云主机节数组长度 io.bytes.per.checksum(4).$hdfs dfs -get -crc /user/hadoop/demo.txt ./downloads 会在指定的文件夹下出现一个叫.demo.txt.crc的文件(5).$cat .demo.txt.crc

相关推荐: Win8如何将任务栏还原到屏幕底部

这篇文章主要为大家展示了“Win8如何将任务栏还原到屏幕底部”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“Win8如何将任务栏还原到屏幕底部”这篇文章吧。一、在桌面空白处右键，然后选择“个性化”。二、在弹出的个性化…