这篇文章主要为大家展示了“Hadoop框架中如何配置HDFS高可用环境”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“Hadoop框架中如何配置HDFS高可用环境”这篇文章吧。在单点或者少数节点故障的情况下，集群还可以正常的提供服务，HDFS高可用机制可以通过配置Active/Standby两个NameNodes节点实现在集群中对NameNode的热备来消除单节点故障问题，如果单个节点出现故障，可通过该方式将NameNode快速切换到另外一个节点上。基于两个NameNode做高可用，依赖共享Edits文件和Zookeeper集群；每个NameNode节点配置一个ZKfailover进程，负责监控所在NameNode节点状态；NameNode与ZooKeeper集群维护一个持久会话；如果Active节点故障停机，ZooKeeper通知Standby状态的NameNode节点；在ZKfailover进程检测并确认故障节点无法工作后；ZKfailover通知Standby状态的NameNode节点切换为Active状态继续服务；ZooKeeper在大数据体系中非常重要，协调不同组件的工作，维护并传递数据，例如上述高可用下自动故障转移就依赖于ZooKeeper组件。创建目录拷贝Hadoop目录配置core-site.xml配置hdfs-site.xml，添加内容如下依次启动journalnode服务删除hopHA下数据NN1格式化并启动NameNodeNN2同步NN1数据NN2启动NameNode查看当前状态在NN1上启动全部DataNodeNN1切换为Active状态配置hdfs-site.xml，新增内容如下，同步集群配置core-site.xml，新增内容如下，同步集群关闭全部HDFS服务启动Zookeeper集群hop01初始化HA在Zookeeper中状态hop01启动HDFS服务NameNode节点启动ZKFailover 香港云主机这里hop01和hop02先启动的服务状态就是Active，这里先启动hop02。结束hop02的NameNode进程等待一下查看hop01状态基本流程和思路与HDFS机制类似，依赖Zookeeper集群，当Active节点故障时，Standby节点会切换为Active状态持续服务。环境同样基于hop01和hop02来演示。配置yarn-site.xml，同步集群下服务重启journalnode节点在NN1服务格式化并启动NN2上同步NN1元数据启动集群下DataNodeNN1设置为Active状态先启动hop01即可，然后启动hop02。hop01启动yarnhop02启动ResourceManager查看状态以上是“Hadoop框架中如何配置HDFS高可用环境”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注开发云行业资讯频道！
这篇文章主要讲解了“数据库分布式事务产生的原因”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“数据库分布式事务产生的原因”吧！分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
