Ambari HDP集群搭建的示例分析


这期内容当中小编将会给大家带来有关Ambari HDP集群搭建的示例分析,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。最近因为工作上需要重新用Ambari搭了一套Hadoop集群,就把搭建的过程记录了下来。Ambari Ubuntu14.04 最新版本 2.2.1HDP Ubuntu14.04 最新版本 2.4.3.0Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive 香港云主机、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。(就是一个开源的hadoop一键式安装服务)我们能用他干什么?我们为什么要用它呢?我们可以使用ambari快速的搭建和管理hadoop和经常使用的服务组件。比如hdfs、yarn、hive、hbase、oozie、sqoop、flume、zookeeper、kafka等等。(说白了就是可以偷好多懒)再说说我们为什么要用它第一是ambari还算是一个早期的Hadoop管理集群工具第二主要是现在Hadoop官网也在推荐使用Ambari。通过一步一步的安装向导简化了集群供应。预先配置好关键的运维指标(metrics),可以直接查看Hadoop Core(HDFS和MapReduce)及相关项目(如HBase、Hive和HCatalog)是否健康。支持作业与任务执行的可视化与分析,能够更好地查看依赖和性能。通过一个完整的RESTful API把监控信息暴露出来,集成了现有的运维工具。用户界面非常直观,用户可以轻松有效地查看信息并控制集群。Ambari使用Ganglia收集度量指标,用Nagios支持系统报警,当需要引起管理员的关注时(比如,节点停机或磁盘剩余空间不足等问题),系统将向其发送邮件。此外,Ambari能够安装安全的(基于Kerberos)Hadoop集群,以此实现了对Hadoop 安全的支持,提供了基于角色的用户认证、授权和审计功能,并为用户管理集成了LDAP和Active Directory。1、让我们先做一些安装前的准备工作2、然后在做一些Ubuntu系统的优化3、安装部署ambari-server (环境:Ubuntu 14.04 + Ambari 2.2.1)4、修改ambari-agent配置指向ambari-server5、经过头痛的Shell命令,开始连点人间的东西了。使用你的浏览器访问 http://10.1.10.1:8080/ 账号密码默认为amdin/admin 点击LAUNCH INSTALL WIZARD让我们愉快的开始吧6、给集群起一个名字7、这个里要注意一点确定你的hdp版本不然后面会有麻烦**8、我在这里面配置的是HDP2.4.3 **例子: http://public-repo-1.hortonworks.com/HDP/debian7/2.x/updates/2.4.3.0点击next 会检查数据源是否正常,如果这里报错可以点击 “Skip Repository Base URL validation (Advanced) ” 进行跳过检查9、填入hostname master slave1 slave2 因为在slave安装ambari-agent 所以直接选择不使用ssh10、检查服务器状态–这里需要等待一下 如果等待时间过长可以重启ambari-server11、选择我们需要的服务 HDFS YARN ZK12、直接使用Ambari默认分配方式 点击下一步开始安装13、下面就是考虑网速的时候了14、安装完成之后一路Next刷新主页面就看到了我们的Hadoop集群这里默认都是启动的15、进入HDFS下 点击restart ALL 可以重启所有组件16、验证一下是否安装成功 点击NameNodeUI17、基础信息页18、Hadoop已经搭建完成完成了不想跑一个任务试试吗?19、结果如下 生成_SUCCESS 和文件上述就是小编为大家分享的Ambari HDP集群搭建的示例分析了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注开发云行业资讯频道。

相关推荐: 怎么解析Kafka Producer

本篇文章为大家展示了怎么解析Kafk 香港云主机a Producer,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。Kafka Producer在发送消息大致有以下流程:首先将消息封装在ProducerRecord中,并…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

Like (0)
Donate 微信扫一扫 微信扫一扫
Previous 09/16 11:07
Next 09/16 11:08

相关推荐