大数据之搭建HDP环境，以三个节点为例（上——部署主节点以及服务）

（一）实验环境
l 实验介质
CentOS-7-x86_64-Everything-1708.iso
jdk-8u144-linux-x64.tar.gz
ambari-2.6.0.0-centos7.tar.gz
HDP-2.6.3.0-centos7-rpm.tar.gz
HDP-UTILS-1.1.0.21-centos7.tar.gz这里我们以Vmware为例安装虚拟机
l 准备三台CentOS虚拟机，三个节点：一个Cloudera Manager节点、两个Agent节点
安装如下：
n HDP21：Server GUI、Development Tools、MariaDB
n HDP22、HDP23：Server GUI、Development Tools二）安装配置CentOS（每台机器）
注意把下面的两个选项选上
l Server With GUI
l Development Tools
l MariaDB Server（就是MySQL数据库）：注意只在hdp21上安装

l 关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.servicel 配置主机名：编辑/etc/hosts文件
l 配置免密码登录
l 配置ntp服务
创建目录：mkdir /root/cdroom/
挂载光盘：mount /dev/cdrom /root/cdroom/
删除原来的所有repo文件
创建yum的源文件： vi /etc/yum.repos.d/my.repo
[centos-yum]
baseurl=file:///root/cdroom
enabled=1
gpgcheck=0
开启NTP服务
yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd安装Apache Http服务（只需要在hdp21上安装）
yum install httpd启动Apache Http服务
systemctl start httpd.service
systemctl enable httpd.service验证Http服务，使用浏览器访问如下网页：
192.168.164.21（三）安装JDK（每台机器）
一定注意，这一步跟之前不一样！！！
l 卸载系统原有的Java环境
第一步：使用下面的命令查看当前所有的Java环境的安装包
rpm -qa | grep java
第二步：使用下面的命令删除所有的Java安装包
rpm -e –nodeps 包名l 安装新的JDK环境
将jdk-8u161-linux-x64.rpm上传到/root/toolsm目录
安装JDK：rpm -ivh jdk-8u161-linux-x64.rpm
执行下面的命令，设置环境变量：
echo “JAVA_HOME=/usr/java/latest/” >> /etc/environmentl 验证JDK环境
!
（四）配置MariaDB（在HDP21上）
l 启动MariaDB
systemctl start mariadb
systemctl enable mariadb （开机自启动）l 配置MariaDB
mysql_secure_installation
#首先是设置密码，会提示先输入密码
Enter current password for root (enter for none):#设置密码
Set root password? [Y/n] New password: Re-enter new password: #其他配置
Remove anonymous users? [Y/n] Disallow root login remotely? [Y/n] Remove test database and access to it? [Y/n] Reload privilege tables now? [Y/n]
l 初始化MariaDB
登录数据库：mysql -uroot -pWelcome_1
(1)安装完成后创建ambari数据库及用户：
create database ambari;
CREATE USER ‘ambari’@’%’IDENTIFIED BY ‘Welcome_1’;
GRANT ALL PRIVILEGES ON . TO ‘ambari’@’%’；
FLUSH PRIVILEGES;(2)如果要安装Hive，再创建Hive数据库和用户 再执行下面的语句：
create database hive;
CREATE USER ‘hive’@’%’IDENTIFIED BY ‘Welcome_1’;
GRANT ALL PRIVILEGES ON . TO ‘hive’@’%’;
FLUSH PRIVILEGES;(3)如果要安装Oozie，再创建Oozie数据库和用户 再执行下面的语句：
create database oozie;
CREATE USER ‘oozie’@’%’IDENTIFIED BY ‘Welcome_1’;
GRANT ALL PRIVILEGES ON . TO ‘oozie’@’%’;
FLUSH PRIVILEGES;l 安装数据库驱动
yum install mysql-connector-java
安装路径：/usr/share/java/mysql-connector-java.jar
（五）安装配置Clouder Manager（在cdh71上）
五）配置Ambari本地源（在hdp21上）
一定注意：解压后，需要删除目录下所有的html文件。
在httpd网站根目录,默认是即/var/www/html/，创建目录ambari
mkdir /var/www/html/ambari将ambari-2.6.0.0-centos7.tar.gz和HDP-2.6.3.0-centos7-rpm.tar.gz解压到该目录
tar -zxvf ambari-2.6.0.0-centos7.tar.gz -C /var/www/html/ambari
tar -zxvf HDP-2.6.3.0-centos7-rpm.tar.gz -C /var/www/html/ambari将HDP-UTILS-1.1.0.21-centos7.tar.gz解压到/var/www/html/ambari/HDP-UTILS/
mkdir /var/www/html/ambari/HDP-UTILS/
tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/ambari/HDP-UTILS/配置ambari、HDP、HDP-UTILS的本地源
修改ambari.repo文件
#VERSION_NUMBER=2.6.0.0-267
[ambari-2.6.0.0]
name=ambari Version – ambari-2.6.0.0
baseurl=http://192.168.164.21/ambari/ambari/centos7/2.6.0.0-267
gpgcheck=1
gpgkey=http://192.168.164.21/ambari/ambari/centos7/2.6.0.0-267/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1修改hdp.repo文件
#VERSION_NUMBER=2.6.3.0-235
[HDP-2.6.3.0]
name=HDP Version – HDP-2.6.3.0
baseurl=http://192.168.164.21/ambari/HDP/centos7/2.6.3.0-235
gpgcheck=1
gpgkey=http://192.168.164.21/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1[HDP-UTILS-1.1.0.21]
name=HDP Utils Version – HDP-UTILS-1.1.0.21
baseurl=http://192.168.164.21/ambari/HDP-UTILS
gpgcheck=1
gpgkey=http://192.168.164.21/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1将ambari.repo和hdp.repo拷贝到/etc/yum.repos.d/目录下（六）安装Ambari
安装Ambari Server：yum install ambari-server
配置Ambari Server：ambari-server setup将Ambari数据库脚本导入到数据库
mysql -uambari -pWelcome_1
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql启动Ambari Server
ambari-server start
访问Ambari Server的Web Console:http://192.168.164.21:8080/#/login
七）安装配置HDP 2.6.3集群
(1)点击上面登录成功页面的Launch Install Wiz 香港云主机ard 按钮进行集群配置
(2)设置集群名称比如mycluster
(3)设置HDP安装源

(4)主机信息确认 这里主机名应与虚拟机一致，比如mydemo71应该为hdp21

!
(5)选择要安装部署的服务

这里为了更快完成部署，只部署了HDFS和YARN，如有需要可以添加其他组件，也可以后再添加
(6)各个服务Master节点配置
(7)从节点的配置

这里只选择DataNode,NodeManager和client
(8)服务的定制化配置
namenode /root/training/bigdata/namenode
datanode /root/training/bigdata/datanode
yarn.nodemanager.local-dirs /root/training/bigdata/nodemanager/local
yarn.nodemanager.log-dirs /root/training/bigdata/nodemanager/log
所有密码 password
(9)显示配置信息

(10)开始部署集群

(11)全部安装成功界面如下

(12)执行jps命令查看后台进程

(13)安装完成

(14)集群管理首页,IP地址应与之前的192.168.164.21保持一致

(15)执行WordCount程序
在linux服务器中输入以下命令
切换到hdfs用户
创建目录：hdfs dfs -mkdir /input
上传数据文件：hdfs dfs -put data.txt /input
Example jar的位置：
/usr/hdp/2.6.3.0-235/hadoop-mapreduce/hadoop-mapreduce-examples.jar
执行WordCount
hadoop jar hadoop-mapreduce-examples.jar wordcount /input /output/wc到目前为止，HDP2.6.3的主节点就已经配好了，接下来就是从节点HDP22和HDP23的配置了。
如果你有任何的意见或者建议，欢迎在下方留言。
如果这篇博客有帮到你，欢迎你点个赞哦！

相关推荐: 电脑中怎么将激活状态的系统转移至新设备

这篇文章主要为大家展示了“电脑中怎么将激活状态的系统转移至新设备”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“电脑中怎么将激活状态的系统转移至新设备”这篇文章吧。方法/步骤：1.登录微软账户中心（https://a…