这篇文章主要介绍“Win10怎么搭建Pyspark2.4.4+Pycharm开发环境”，在日常操作中，相信很多人在Win10怎么搭建Pyspark2.4.4+Pycharm开发环境问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Win10怎么搭建Pyspark2.4.4+Pycharm开发环境”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！hadoop3.0.0spark-2.4.4-bin-without-hadoopwinutils下载(对应hadoop3.0.1的bin目录覆盖本地hadoop的bin目录)jdk1.8(默认已按照配置)conda/anaconda(默认已安装)注意:cdh7.3.2的spark为2.4.0但是使用2.4.0本地pyspark有bug,下载的文件可能免费云主机域名在第一次解压缩后,如未出现目录,则需要修改文件后缀为zip,再次解压缩spark2.4.x不支持python3.7以上版本pyspark安装方法(推荐一)%SPARK_HOME%pythonpyspark目录复制到%CONDA_HOME%pyspark2.4Libsite-packages下pip install pyspark=2.4.4以下只是示例,根据实际情况修改,路径不要有空格,如果有使用mklink /J 软链接 目录路径配置一 %SPARK_HOME%conf目录下新建spark-env.cmd文件,内容如下配置二 %SPARK_HOME%conf目录下新建log4j.properties文件,内容如下注意:配置好环境变量重启下电脑,不然可能存在pycharm无法加载系统环境变量的情况wc.txtwordcount测试代码正常运行结果:spark-shell报错Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger解决方法:见上述配置一Pyspark报错ModuleNotFoundError: No module named ‘resource’解决方法:spark2.4.0存在的bug,使用spark2.4.4Pyspark报错org.apache.spark.sparkexception: python worker failed to connect back解决方法:环境变量未配置正确,检查是否遗漏,并检查pycharm的configuration的环境变量里面能够看到关于%SPARK_HOME%pythonlib下的py4j-0.10.7-src.zip,pyspark.zip(未配置运行正常),也可以尝试添加到项目到此，关于“Win10怎么搭建Pyspark2.4.4+Pycharm开发环境”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注百云主机网站，小编会继续努力为大家带来更多实用的文章！
本篇内容主要讲解“jquery如何将字体改变为宋体”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“jquery如何将字体改变为宋体”吧! 修改方法：1、用css()控制font-family样式，语法“文本元素.cs…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
