这篇文章将为大家详细讲解有关spark-on-yarn作业提交缓慢优化中的spa 香港云主机rk jar包处理是怎样的，文章内容质量较高，因此小编分享给大家做个参考，希望大家阅读完这篇文章后对相关知识有一定的了解。spark on yanr方式运行计算作业，发现作业提交缓慢,查看日志如下：从日志信息可以看到，如果spark.yarn.archive 或者 spark.yarn.jars这两个参数都没有配置，spark就会把$SPARK_HOME/jars/所有的jar上传到分布式缓存中，大约耗时30s左右，造成提交缓慢。解决办法：1、将$SPARK_HOME/jars/下面的所有jar包上传到hdfs上hadoop fs -mkdir -p /spark/jars/hadoop fs -put /home/hadoop/app/spark-2.3.1-bin-2.6.0-cdh6.7.0/jars/*.jar /spark/jars/2、spark-default.conf文件里面添加如下参数：spark.yarn.jar hdfs://hadoop001:9000/spark/jars/*.jar关于spark-on-yarn作业提交缓慢优化中的spark jar包处理是怎样的就分享到这里了，希望以上内容可以对大家有一定的帮助，可以学到更多知识。如果觉得文章不错，可以把它分享出去让更多的人看到。
这篇文章主要介绍了如何解决pip安装总是失败的问题，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。前言都说pip install XX要安装啥就安装啥，为啥到我这就不行了呢？？？难道Python在…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
