如何搭建hadoop

1449272589 • 09/12 10:49 • Linux技术 • 阅读 114

本篇内容介绍了“如何搭建hadoop”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！(1)静态IP配置编辑 vi /etc/sysconfig/network-scripts/ifcfg-ens33三台虚拟机（静态IP，关闭防⽕墙，修改主机名，配置免密登录，集群时间同步）** systemctl restart network(2)关闭防火墙(2.1)三态机器关闭selinux (3)修改主机名(4) 配置hostname与IP映射 (5)配置免密登录 (6)集群时间同步
在/opt⽬录下创建⽂件夹3 Hadoop下载地址：登录linux121节点；进⼊/opt/lagou/software,解压安装⽂件到/opt/lagou/servers查看是否解压成功添加Hadoop到环境变量 vim /etc/profile使环境变量⽣效验证hadoophadoop 目录(Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置)HDFS集群配置MapReduce集群配置Yarn集群配置** 集群配置具体步骤：HDFS集群配置MapReduce集群配置Yarn集群配置** 注意编写集群分发脚本rsync-scriptrsync 远程同步⼯具rsync主要⽤于备份和镜像。具有速度快、避免复制相同内容和⽀持符号链接的优点。rsync和scp区别：⽤rsync做⽂件的复制要⽐scp的速度快，rsync只对差异⽂件做更新。scp是把所有⽂件都复制过去。3.2.1. 基本语法3.2.2. 三台虚拟机安装rsync (执⾏安装需要保证机器联⽹)yum install -y rsync3.2.3. 把linux121机器上的/opt/lagou/software⽬录同步到linux122服务器的root⽤户下的/opt/⽬录rsync -rvl /opt/lagou/software/ root@linux122:/opt/lagou/software3.2.4 分发脚本3.2.5 修改脚本 rsync-script 具有执⾏权限3.2.6 调⽤脚本形式：rsync-script ⽂件名称3.2.7 调⽤脚本分发Hadoop安装⽬录到其它节点** 注意：如果集群是第⼀次启动，需要在Namenode所在节点格式化NameNode，⾮第⼀次不⽤执⾏格式化Namenode操作！！格式化命令执行效果
如果已经单节点⽅式启动了Hadoop,可以先停⽌之前的启动的Namenode与Datanode进程,如果之前Namenode没有执⾏格式化，这⾥需要执⾏格式化!!!!注意：NameNode和Resour 香港云主机ceManger不是在同⼀台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。(1)分别启动/停⽌HDFS组件(2) 启动/停⽌YARN(1) 整体启动/停⽌HDFS(2) 整体启动/停⽌YARN“如何搭建hadoop”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注开发云网站，小编将为大家输出更多高质量的实用文章！

相关推荐: 如何解决Spring Cloud Gateway和OAuth2不兼容的问题

今天就跟大家聊聊有关如何解决Spring Cloud Gateway和OAuth2不兼容的问题，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。Spring Cloud 版本 : Finchley.RELE…

免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。