如何进行Spark Job 动态分配资源的分析

本篇文章为大家展示了如何进行Spark Job 动态分配资源的分析，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。项目中使用spark 自带的thrift-server做hdfs数据查询统计服务。当数据过多时，thrift-server 需要分配大量的资源，当不需要查询时分配当量的资源又显得非常浪费，因此想到是否有可能动态分配资源。 开发云主机域名
（thrift-server也是一个job（yarn app），因此这种方法同样适用于一般的spark job）。
目前动态资源分配只适合spark on yarn，配置方式如下。修改所有节点yarn node-manager配置，在$HADOOP_HOME/etc/hadoop/yarn-site.xml中添加：将$SPARK_HOME/lib/spark-1.3.0-yarn-shuffle.jar copy到 $HADOOP_HOME/share/hadoop/yarn/lib 目录下。重启yarn。修改 $SPARK_HOME/conf/spark-default.conf 文件，添加以下内容：这里使用spark中内置的thrift-server验证。
启动thrift-server，只配置 --executor-memory 参数。
sbin/start-thriftserver.sh --master yarn-client --executor-memory 1g
通过application UI可看到executors分配，当有并发查询或者查询压力比较大时，会申请更多的executor，空闲时回收。上述内容就是如何进行Spark Job 动态分配资源的分析，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注开发云行业资讯频道。

相关推荐: CentOS 7中怎么配置MapReduce Eclipse开发环境

CentOS 7中怎么配置MapReduce Eclipse开发环境，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。1.首先在浏览器下载eclipse，网址如下2.解压eclipse安装包首先将…