hadoop如何安装部署


这篇文章主要为大家展示了“hadoop如何安装部署”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“hadoop如何安装部署”这篇文章吧。一:准备工作 1:准备号JDK环境 2:关闭防火墙 3:selinux disabled 4: ssh安装 5:修改host文件 6:修改hostname二:下载CDH http://archive.cloudera.com/cdh5/cdh/4/三:环境变量配置 export JAVA_HOME=/home/bigdata/jdk1.7.0_45
export HADOOP_HOME=/home/hadoop/cdh5.4.0/hadoop-2.0.0-cdh5.4.0
export HADOOP_COMMOM_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HDFS_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LIB=$HADOOP_HOME/lib
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native四:配置文件 core-site.xmlfs.default.name
hdfs://hadoop-001:8020
hadoop.tmp.dir/hadoop/tmpfs.trash.interval10080fs.trash.checkpoint.interval10080hadoop.proxyuser.hadoop.hostshadoop-001hadoop.proxyuser.hadoop.groupshadoop
hdfs-site.xmldfs.replication2dfs.namenode.name.dirfile:/hadoop/nameturedfs.datanode.data.dirfile:/hadoop/dataturedfs.permissionsfalsedfs.namenode.http-addresshadoop-001:50070dfs.secondary.http.addresshadoop-001:50090d开发云主机域名fs.webhdfs.enabledtrueyarn-site.xmlyarn.resourcemanager.resource-tracker.address
hadoop-001:18025
yarn.resourcemanager.address
hadoop-001:18040
yarn.resourcemanager.scheduler.address
hadoop-001:18030
yarn.resourcemanager.admin.address
hadoop-001:18141
yarn.resourcemanager.webapp.address
hadoop-001:8088
yarn.nodemanager.aux-services
mapreduce.shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
yarn.application.classpath
$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/,$HADOOP_COMMON_HOME/share/hadoop/common/lib/,$HADOOP_HDFS_HOME/share/hadoop/hdfs/,$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/,$HADOOP_YARN_HOME/share/hadoop/yarn/,$HADOOP_YARN_HOME/share/hadoop/yarn/lib/
mapred-site.xml五:创建号hdfs配置文件中的目录六:格式化namenode hadoop namenode -format七: 启动各自服务以上是“hadoop如何安装部署”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注开发云行业资讯频道!

相关推荐: XGantt .NET应用程序交互是怎样的

本篇文章为大家展示了XGantt .NET应用程序交互是怎样的,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。甘特图(Xgantt)从1998年的第一个商用版本开始就致力于计划编制和项目管理方面控件的研究和开发,经过20…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

Like (0)
Donate 微信扫一扫 微信扫一扫
Previous 05/17 16:22
Next 05/17 16:22

相关推荐