Hadoop初体验：快速搭建Hadoop伪分布式环境

0.前言
本文旨在使用一个全新安装好的Linux系统从0开始进行Hadoop伪分布式环境的搭建，以达到快速搭建的目的，从而体验Hadoop的魅力所在，为后面的继续学习提供基础环境。对使用的系统环境作如下说明：
操作系统：CentOS 6.5 64位主机IP地址：10.0.0.131/24主机名：leaf用户名：roothadoop版本：2.6.5jdk版本：1.7
可以看到，这里直接使用root用户，而不是按照大多数的教程创建一个hadoop用户来进行操作，就是为了达到快速搭建Hadoop环境以进行体验的目的。
为了保证后面的操作能够正常完成，请先确认本机是否可以解析到主机名leaf，如果不能，请手动添加解析到/etc/hosts目录中：

1.rsync软件安装
使用下面命令安装：

2.ssh安装与免密码登陆配置
（1）ssh安装使用下面命令安装

（2）ssh免密码登陆配置
因为Hadoop使用ssh协议来管理远程守护进程，所以需要配置免密码登陆。

关闭防火墙和selinux
为了确保能够成功配置，在配置前，先把防火墙和selinux关闭：

生成密钥对
将公钥添加到本地信任列表
验证
上面三步完成后就完成了免密码登陆的配置，可以使用下面的命令进行验 香港云主机证：在第一次登陆的时候需要输入yes，之后再登陆时就可以直接登陆了：

3.jdk安装与配置
（1）jdk下载这里使用的是jdk1.7版本，可以到下面的网站进行下载：
http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html 下载完成后，可以使用winscp上传到/root目录下，如下：

（2）jdk安装将jdk解压到/usr/local目录下，并创建软链接：
（3）JAVA_HOME环境变量配置java命令在/usr/local/jdk/bin目录下：
配置java环境变量：
这样我们就可以在任何一个目录下使用java相关的命令：

4.hadoop安装与配置
（1）hadoop下载这里使用hadoop 2.6.5版本，可以到下面的网站进行下载：
http://hadoop.apache.org/releases.html 选择2.6.5的binary进入相应的页面便可以下载，然后使用winscp上传到/root目录下，如下：

（2）hadoop安装将hadoop解压到/usr/local目录下，并创建软链接：

（3）hadoop环境变量配置hadoop相关命令在/usr/local/hadoop/bin和/usr/local/hadoop/sbin目录下，如下所示：
配置hadoop环境变量：
这样我们就可以在任何一个目录下使用hadoop相关的命令：
（4）hadoop配置hadoop的配置文件在/usr/local/hadoop/etc/hadoop目录下：
配置core-site.xml
fs.default.name这个字段下的值用于指定NameNode（HDFS的Master）的IP地址和端口号，如下面的value值hdfs://localhost:9000，就表示HDFS NameNode的IP地址或主机为localhost，端口号为9000.
配置hdfs-site.xmldfs.replication用于指定HDFS中每个Block块被复制的次数，起到数据冗余备份的作用；dfs.name.dir用于配置HDFS的NameNode的元数据，以逗号隔开，HDFS会把元数据冗余复制到这些目录下；dfs.data.dir用于配置HDFS的DataNode的数据目录，以逗号隔开，HDFS会把数据存在这些目录下。配置mapred-site.xmlmapred.job.tracker字段用于指定MapReduce Jobtracker的IP地址及端口号，如这里IP地址或主机为localhost，9001是MapReduce Jobtracker RPC的交互端口。
配置hadoop-env.sh

5.hadoop启动与测试
（1）格式化HDFS分布式文件系统执行如下命令：
注意看输出显示是不是跟上面的类似，如果是，则说明操作成功。

（2）启动hadoop服务执行如下命令：

（3）hadoop服务测试启动完成后，执行jps命令，可以看到hadoop运行的守护进程，如下：
也可以通过在浏览器中输入地址来访问相关页面，这里访问NameNode的页面，地址为http://10.0.0.131:50070，如下：访问DataNode的页面，地址为http://10.0.0.131:50075，如下
6.参考资料
《Hadoop核心技术》不过需要注意的是，书上版本用的是1.x，这里用的是2.x版本。

相关推荐: 因文件权限导致git fetch命令执行失败怎么解决

本文小编为大家详细介绍“因文件权限导致git fetch命令执行失败怎么解决”，内容详细，步骤清晰，细节处理妥当，希望这篇“因文件权限导致git fetch命令执行失败怎么解决”文章能帮助大家解决疑惑，下面跟着小编的思路慢慢深入，一起来学习新知识吧。前言最近在…