Hadoop命令执行是怎样的

Hadoop命令执行是怎样的，相信很多没有经验的人对此束手无策，为此本文总结了问题出现的原因和解决方法，通过这篇文章希望你能解决这个问题。Hadoop是一个由Apache的分布式系统基础架构，用户可开发分布式程序，充分利用集群的威力进行高速运算和存储，实现了一个分布式文件系统（Hadoop Distributed File System）。其中HDFS组件有高容错性的特点，并且部署在低廉的（low-cost）硬件上即可提供高吞吐量（high throughput）来访问应用程序的数据。Apache Yarn（Yet Another Resource Negotiator的缩写）是hadoop集群资源管理器系统，Yarn从hadoop 2引入，最初是为了改善MapReduce的实现，但是它具有通用性，同样执行其他分布式计算模式。ApplicationMaster负责与scheduler协商合适的container，跟踪应用程序的状态，以及监控它们的进度，ApplicationMaster是协调集群中应用程序执行的进程。每个应用程序都有自己的ApplicationMaster，负责与ResourceManager协商资源（container）和NodeManager协同工作来执行和监控任务 。当一个ApplicationMaster启动后，会周期性的向resourcemanager发送心跳报告来确认其健康和所需的资源情况，在建好的需求模型中，ApplicationMaster在发往resourcemanager中的心跳信息中封装偏好和限制，在随后的心跳中，ApplicationMaster会对收到集群中特定节点上绑定了一定的资源的container的租约，根据Resourcemanager发来的container，ApplicationMaster可以更新它的执行计划以适应资源不足或者过剩，container可以动态的分配和释放资源。与job相关的命令：YARN命令：YARN命令是调用bin/yarn脚本文件，如果运行yarn脚本没有带任何参数，则会打印yarn所有命令的描述。运行jar文件用户可以将写好的YARN代码打包成jar文件，用这个命令去运行它：使用ROOT权限启动的Hadoop服务可根据在服务器8088端口接收用户提交的POST数据，根据其中参数执行相关job，具体实现如下：8088端口的Applications manager：1.**申请新的application，直接通过curl进行POST请求：**返回内容类似于：2.构造并提交任务构造json文件1.json，内容如下，其中application-id对应上面得到的id，命令内容为尝试在/var/tmp目录下创建test_1文件，内容也为111：然后直接使用curl发送数据：即可完成攻击，命令被执行，在相应目录下可以看到生成了对应文件，在8088端口Web界面可看到相关信息：技巧：1可配合ceye、dnslog测试命令执行结果，或在/home/user/.ssh/authorized_keys中写入公钥。2 搜索开放服务：title=”All Applications”或者port=50070但此方式有三点限制：1是服务需管理员权限启动，执行命令也是管理员权限执行，普通用户五相关命令权限只会有失败记录，命令最终执行失败，留下难以删除的免费云主机域名攻击记录。2是Hadoop的8088管理端口若使用了权限认证，会提示AuthorizationException：”message”:”Unable to obtain user name, user not authenticated。3是master+slave节点数大于等于2，job任务会根据hadoop分布式机制提交到任一台节点处理，目前笔者还未找到指定namenode的方法。1.建议项目拥有者将暴露在公网的服务端口（8040,8042,8088,50060,50070等）屏蔽掉，或做白名单访问处理。2.对Hadoop web Manager服务（8088）做访问身份认证处理，对接收的数据包进行认证。3.修改默认端口，防止端口服务被批量利用。看完上述内容，你们掌握Hadoop命令执行是怎样的的方法了吗？如果还想学到更多技能或想了解更多相关内容，欢迎关注云编程开发博客行业资讯频道，感谢各位的阅读！

相关推荐: 如何理解PHP-CGI远程代码执行漏洞以及CVE-2012-1823漏洞复现

这期内容当中小编将会给大家带来有关如何理解PHP-CGI远程代码执行漏洞以及CVE-2012-1823漏洞复现，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。这个漏洞简单来说，就是用户请求的querystring（querys…