Hadoop怎样安装

本篇内容介绍了“Hadoop怎样安装”的有关知识，在实际案例的操作过程中，不少人都会遇到这样的困境，接下来就让小编带领大家学习一下如何处理这些情况吧！希望大家仔细阅读，能够学有所成！1、用vmware workstation建立虚拟机，开始先不选择安装包内存选择：如果本机是4G内存，则分配虚拟机1G内存2、按默认要求来，完成虚拟机的初步配置【大数据开发学习资料领取方式】：加入大数据技术学习交流群458345782，点击加入群聊，私信管理员即可免费领取3、开始ubuntu的安装选择镜像文件（我用的版本也在上面的网盘里下载），然后一步步的安装4、选择电脑名称为hd1，密码为123456。注意Your name设置为ubuntu5、打开Ubuntu虚拟机，打开终端编辑器6、安装并进入VMware Tools。安装通过点击虚拟机->安装VMware Tools进行安装。7、复制VMware Tools的压缩包到另一个文件目录下。这里放到了tmp目录下。8、解压VMWare Tools9、解压后进入vmware-tools-distrib10、继续编写命令进行安装 sudo./vmware-install.pl11、安装VMware Tools成功12、利用 sudo aptinstall vim安装vim。安装完成后如下图。13、输入reboot重启，同时重启后输入init 0关闭虚拟机14、复制hd1文件夹，命名为hd2，放在存虚拟机的文件夹下15、用记事本打开hd2文件夹下的hd1.vmx。修改其中的displayName为hd2.再用VMware WorkStation打开hd1.vmx16、分别启动两台虚拟机17、根据电脑的ip配置/etc/hosts文件，给IP地址一个别名，方便后面操作。注意ip地址为你两台虚拟机的ip地址。用ifconfig命令可以查看本机IP。一般是191.168.开头的一串IP地址。我配置如下。sudo vim /etc/hosts192.168.241.132 hd1192.168.241.130 hd218、安装openssh-server19、启动ssh20、保证每次开机时自动启动ssh21、多机互信，两台虚拟机都要执行ssh-keygen-t rsa命令。22、进行密钥的互信，两台虚拟机都要执行cat id_rsa.pub >> authorized_keys命令。23、将hd1的文件拷到hd2上，同时把hd2的文件拷到hd1上24、验证已经实现双机互信25、在hd1上进行hadoop的安装26、在hd1和hd2上进行java的安装。两台主机都要执行sudo apt install default-jre命令。27、在hd1和hd2上分别进行相关目录的创建接下来需要配置hadoop集群文件配置文件有7个：/home/ubuntu/hadoop/hadoop/etc/hadoop/hadoop-env.sh/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-env.sh/home/ubuntu/hadoop/hadoop/etc/hadoop/slaves/home/ubuntu/hadoop/hadoop/etc/hadoop/core-site.xml/home/ubuntu/hadoop/hadoop/etc/hadoop/hdfs-site.xml/home/ubuntu/hadoop/hadoop/etc/hadoop/mapred-site.xml/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-site.xml28、配置env文件。28-34步只在hd1上完成export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/export HADOOP_HOME=/home/hadoop/hadoop29、配置yarn-env文件export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/30、配置slave文件hd1hd231、配置core-site文件 fs.defaultFS hdfs://hd1:9000 io.file.buffer.size 131072 hadoop.tmp.dir file:/home/ubuntu/hadoop/tmp hadoop.proxyuser.hduser.hosts * hadoop.proxyuser.hduser.groups *32、配置hdfs-site文件 dfs.namenode.http-address hd1:50070 dfs.namenode.secondary.http-address hd1:9001 dfs.namenode.name.dir file:/home/ubuntu/hadoop/namenode dfs.datanode.data.dir file:/home/ubuntu/hadoop/hdfs dfs.replication 1 dfs.webhdfs.enabled true dfs.support.append true dfs.support.broken.append true dfs.permissions.enabled false 33、配置mapred-site文件注意先将mapred-site.xml.template文件拷出，然后再使用vim命令 mapreduce.framework.name yarn mapreduce.jobhistory.address hd1:10020 mapreduce.jobhistory.webapp.address hd1:19888【大数据开发学习资料领取方式】：加入大数据技术学习交流群458345782，点击加入群聊，私信管理员即可免费领取34、配置yarn-site文件 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address hd1:8032 yarn.resourcemanager.scheduler.address hd1:8030 yarn.resourcemanager.resource-tracker.address hd1:8031 yarn.resourcemanager.admin.address hd1:8033 yarn.resourcemanager.webapp.address hd1:808835、在hd1和hd2上配置路径文件。执行下面两条命令sudo vim /etc/profileexport PATH=$PATH:/home/ubuntu/hadoop/hadoop/bin:/home 香港云主机/ubuntu/hadoop/hadoop/sbin36、在hd1上加入hadoop路径到path路径下37、在hd1上格式化namenode，执行hadoop namenode -format命令38、在hd1上进行文件的分发，注意命令行当前所在的位置。39、验证是否安装成功在hd1上建一个a.txt文件拷到hdfs文件里面去打印显示自此安装成功“Hadoop怎样安装”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识可以关注开发云网站，小编将为大家输出更多高质量的实用文章！

相关推荐: eMMC真能优化成UFS？手机闪存到底是指什么？

如今，手机闪存越来越被重视，eMMC 5.1和UFS 2.1再也不是什么陌生的词了。闪存，英文叫 flash memory 简称 flash，是电子式的永久性存储器，区别于磁性存储的磁盘和激光刻录的光盘。它以芯片为存在形式，因此最大的优点就是体积极小，对于手机…