HDFS只是Hadoop最基本的一个服务，很多其他服务，都是基于HDFS展开的。所以部署一个HDFS集群，是很核心的一个动作，也是大数据平台的开始。 安装Hadoop集群，首先需要有Zookeeper才可以完成安装。如果没有Zookeeper，请先部署一套Zookeeper。另外，JDK以及物理主机的一些设置等。请参考：Hadoop集群(一) Zookeeper搭建
Hadoop集群(三) Hbase搭建Hadoop集群(四) Hadoop升级下面开始HDFS的安装
HDFS主机分配1. 安装HDFS，解压hadoop-2.6.0-EDH-0u2.tar.gz我同时下载2.6和2.7版本的软件，先安装2.6，然后在执行2.6到2.7的升级步骤2. 修改core-site.xml对应的参数
3. 修改hdfs-site.xml对应的参数4. 添加slaves文件— 安装C6702的hdfs—5. 创建c6702的用户，并为hdfs用户ssh免密
6. 拷贝软件
7. 创建目录，解压软件
复制配置文件创建hdfs需要的目录— 安装C6703的hdfs—8. 创建c6703的用户，并为hdfs用户ssh免密
9. 拷贝软件复制配置文件创建hdfs需要的目录11. 启动HDFS，先启动三个节点的journalnode/home/hdfs/hadoop-2.6.0-EDH-0u2/sbin/hadoop-daemon.sh start journalnode检查状态12. 然后启动namenode,首次启动namenode之前，先在其中一个节点(主节点)format namenode信息，信息会存在于dfs.namenode.name.dir指定的路径中13. standby namenode需要先执行bootstrapstandby，输出如下14. 检查状态，namenode还没有启动15. 启动standby namenode，命令和master启动的方式相同16. 再次检查，namenode已经启动17. 格式化zkfc,让在zookeeper中生成ha节点，在master上执行如下命令，完成格式化18. 格式化完成的检查
格式成功后，查看zookeeper中可以看到
19. 启动zkfc，这个就是为namenode使用的
20. 另一个节点启动zkfc，21. 注意：进行初始化的时候，必须保证zk集群已经启动了。 1、在ZK中创建znode来存储automatic Failover的数据，任选一个NN执行完成即可： sh bin/hdfs zkfc -formatZK 2、启动zkfs，在所有的NN节点中执行以下命令： sh sbin/hadoop-da 香港云主机emon.sh start zkfc22. 启动datanode最后启动集群
HDFS安装过程中的重点，最后在软件启动过程中，一些初始化操作，很重要。1. 启动全部的journalnode2. 在namenode1上执行， hdfs namenode -format3. 在namenode1上执行， 启动namenode1，命令hadoop-daemon.sh start namenode4. 在namenode2上执行, hdfs namenode -bootstrapstandby5. 在namenode1上执行，格式化zkfc,在zookeeper中生成HA节点, hdfs zkfc -formatZK6. 启动zkfc，hadoop-daemon.sh start zkfc。 有namenode运行的节点，都要启动ZKFC7. 启动 datanode
HDFS只是Hadoop最基本的一个模块，这里已经安装完成，可以为后面的Hbase提供服务了。
这篇文章将为大家详细讲解有关笔记本电脑SSD固态硬盘如何分区，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。分区对固态硬盘的寿命没有任何影响，硬盘分区其实是一种格式化，高级的硬盘格式化，在创建硬盘分区的时候，会自动设置好各种参…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
