在Windows下安装Hadoop的方法

本篇内容介绍了“在Windows下安装Hadoop的方法”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！Windows下运行Hadoop，通常有两种方式：一种是用VM方式安装一个Linux操作系统，这样基本可以实现全Linux环境的Hadoop运行；另一种是通过 Cygwin模拟Linux环境。后者的好处是使用比较方便，安装过程也简单。在这里咱们就来看看第二种方案：如何再Windows下快速安装一个 Hadoop环境，并结合Eclipse开发环境研究和调整Hadoop代码。整个安装过程包括以下三大步骤：安装和配置Cygwin（http://cygwin.com/install.html）安装和配置Hadoop-1.2.1（http://hadoop.apache.org/docs/stable/cluster_setup.html）安装和配置Eclipse开发环境在Windows下通过安装Cygwin模拟Linux环境，然后再安装Hadoop，是一种简单方便的方式，为Hadoop准备的模拟Linux环境安装过程如下：针对不同系统类型下载相应的安装文件，下载地址：http://cygwin.com/install.html。我这里的系统是window 7所以下载的是setup-x86.exe刚刚下载的文件是模拟Linux系统所依赖的软件包下载和管理工具，以后想要在模拟Linux环境中安装或更新软件都需要通过这个工具来完成，下面我们就先运行起来这个工具如下：左键双击setup-x86.exe文件运行安装向导：cygwin安装点击【下一步】按钮进入程序引导安装页，这里有三个选项，选择第一项网络安装：网络安装：通过网络下载并安装软件包下载但不安装：通过网络下载软件包本地安装：是用本地软件包安装cygwin安装点击【下一步】进入选择模拟Linux系统的根目录和用户的向导页。在Linux的文件系统中有且只有一个根目录，在这里选择目开发云主机域名录就是Linux中的那个根目录了，这里选择默认：c:cygwin；用户选择第一项：本系统的所有有效用户。cygwin安装点击【下一步】选择本地软件包目录，该工具会自动记住并将以后下载的所有软件包都会放到这里指定的目录。我这里选择：C:UsersAdministratorDesktop1，如果选择不存在目录，就好提示是否创建目录选Yes就OK。cygwin安装点击【下一步】选择您的网络连接，我这里使用的是代理服务器上网，所以我选择第二项：使用IE浏览器代理设置。经测试选择第三项输入代理服务器地址和端口，不能正常访问网络，原因不明。cygwin安装点击【下一步】，等待下载镜像站点列表，下载完成后出现选择下载软件包的站点。如图：cygwin安装根据自己的情况选择合适的下载地址，我这里选择了国内的163站点，点击【下一步】，这个工具就会自动下载软件包信息列表下载完成后进入安装软件包选择页，如下图：cygwin安装这一步比较重要，以下软件包要确保被安装：cygwin安装注：这个软件包列表由前到后包括：分类、当前安装版本，最新版本，安装可执行文件？，安装源代码文件？，大小，包名称和说明。基础软件包：Base及其下面的所有软件包，操作方法：点击Base后面的Default为Install。SSH相关软件包：Net下的OpenSSL和和OpenSSH，用于Hadoop需要的SSH访问，操作方法：点击【+】展开Net节点，点击各个软件包前的最新版本号列的Keep为版本号即为选中安装。其他软件包根据自己的需要选中是否安装即可，我这里还选中了Emacs、VIM、Perl、Python、Ruby、Science、subversion等常用工具。选择完软件包点击【下一步】，进入自动下载与安装，如下图：cygwin安装点击【下一步】进入向导结束页，勾选创建桌面快捷方式点击【完成即可】，如图：cygwin安装到这里，您已经完成了模拟Linux环境的安装，左键双击桌面上的图标打开这个模拟Linux的终端窗口输入几个常用Linux命令体验下这个模拟的Linux系统吧，除了可以执行Linux常用命令外，还可以执行Windows的命令例如：net start service_name等。体验完成后继续下面的配置工作。Cygwin安装完成后，需要先配置SSH服务，以满足Hadoop提出的SSH无密码登入，过程如下：打开模拟Linux的终端，进入Linux环境执行命令：ssh-host-config如图：Hadoop安装第一次询问：“Should privilege separation be used? (yes/no)”，输入no回车。第二次询问：“Do you want to install sshd a service?”，输入yes回车。第三次提示：“Enter the value of CYGWIN for the demon: []”，直接回车。第四次询问：“Do you want to use a different name? (yes/no)”，输入no回车。第五次提示：“Please enter the password for user ‘cyg_server’:”，输入密码回车，在此输入密码回车。最后提示配置完成。在Linux终端或Windows命令行执行net start sshd或命令cygrunsrv –S sshd启动SSH服务。测试ssh登入本机：在终端执行命令：ssh localhost提示输入密码：输入密码回车，如下图：Hadoop安装在终端执行命令：ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa生成秘钥。执行命令：cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys生成认证文件。执行命令：ssh localhost测试是否无需输入密码即可登入。“在Windows下安装Hadoop的方法”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注开发云网站，小编将为大家输出更多高质量的实用文章！