eclipse怎么搭建hadoop环境


这篇文章主要讲解了“eclipse免费云主机域名怎么搭建hadoop环境”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“eclipse怎么搭建hadoop环境”吧!
下载Eclipse,解压安装,例如安装到/usr/local,即/usr/local/eclipse4.3.1版本下载地址:http://pan.baidu.com/s/1eQkpRgu1、下载hadoop插件
下载地址:http://pan.baidu.com/s/1mgiHFok
  此zip文件包含了源码,我们使用使用编译好的jar即可,解压后,release文件夹中的hadoop.eclipse-kepler-plugin-2.2.0.jar就是编译好的插件。
2、把插件放到eclipse/plugins目录下3、重启eclipse,配置Hadoop installation directory 如果插件安装成功,打开Windows—Preferences后,在窗口左侧会有Hadoop Map/Reduce选项,点击此选项,在窗口右侧设置Hadoop安装路径。

4、配置Map/Reduce Locations
打开Windows—Open Perspective—Other

选择Map/Reduce,点击OK
在右下方看到如下图所示点击Map/Reduce Location选项卡,点击右边小象图标,打开Hadoop Location配置窗口:输入Location Name,任意名称即可.配置Map/Reduce Master和DFS Mastrer,Host和Port配置成与core-site.xml的设置一致即可。

点击”Finish”按钮,关闭窗口。点击左侧的DFSLocations—>myhadoop(上一步配置的location name),如能看到user,表示安装成功 如果如下图所示表示安装失败,请检查Hadoop是否启动,以及eclipse配置是否正确。File—>Project,选择Map/Reduce Project,输入项目名称WordCount等。在WordCount项目里新建class,名称为WordCount,代码如下:
1、在HDFS上创建目录input
hadoop fs -mkdir input2、拷贝本地README.txt到HDFS的input里
hadoop fs -copyFromLocal /usr/local/hadoop/README.txt input3、点击WordCount.java,右键,点击Run As—>Run Configurations,配置运行参数,即输入和输出文件夹  hdfs://localhost:9000/user/hadoop/input hdfs://localhost:9000/user/hadoop/output
  点击Run按钮,运行程序。4、运行完成后,查看运行结果方法1:
hadoop fs -ls output
可以看到有两个输出结果,_SUCCESS和part-r-00000
执行hadoop fs -cat output/*
方法2:展开DFS Locations,如下图所示,双击打开part-r00000查看结果感谢各位的阅读,以上就是“eclipse怎么搭建hadoop环境”的内容了,经过本文的学习后,相信大家对eclipse怎么搭建hadoop环境这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是云编程开发博客,小编将为大家推送更多相关知识点的文章,欢迎关注!

相关推荐: Juniper防火墙Policy命名规则

必免费云主机域名须是由数字或字母开头,后面为字母、数字、破折号和下划线组成的字符串。相关推荐: vim的参数使用方法vim一般模式:(1)按x键可以删除本行后面的内容(向后删除)(2)按shift + x可以删除本行前面的内容(向前删除)(3)按数字n,然后再…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 02/02 10:13
下一篇 02/02 10:13