这篇文章主要讲解了“pyspark自定义UDAF函数调用报错如何解决”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“pyspark自定义UDAF函数调用报错如何解决”吧！在SparkSQL中，因为需要用到自定义的UDAF函数，所以用pyspark自定义了一个，但是遇到了一个问题，就是自定义的UDAF函数一直报在新建的py文件中，先自定义了一个UDAF函数，然后在 if __name__ == ‘__main__’: 中调用，死活跑不起来，一遍又一遍的对源码，看起来自定义的函数也没错：过程如下:然后跑起来就报了以下错误：我左思右想，百思不得骑姐，嗐，跑去看 types.py里面的type类型，以为我的 udaf_lx 函数的装饰器里面的 ‘decimal(17,12)’ 类型错了，但是一看，好家伙，types.py 里面的774行这是能匹配上的，没道理啊！然后再往回看报错的信息的最后一行：竟然是空对象没有_jvm这个属性！一拍脑瓜子，得了，pyspark的SQL 在执行的时候，需要用到 JVM ，而运行pyspark的时候，需要先要为spark提供环境，也就说，内存中要有SparkSession对象，而python在执行的时候，是从上往下，将方法加载到内存中，在加载自定义的UDAF函数时，由于有装饰器@F.pandas_udf的存在 , F 则是pyspark.sql.functions, 此时加载自定义的UDA免费云主机域名F到内存中，需要有SparkSession的环境提供JVM，而此时的内存中尚未有SparkSession环境！因此，将自定义的UDAF 函数挪到 if __name__ == ‘__main__’: 创建完SparkSession的后面，如下:运行结果如图：感谢各位的阅读，以上就是“pyspark自定义UDAF函数调用报错如何解决”的内容了，经过本文的学习后，相信大家对pyspark自定义UDAF函数调用报错如何解决这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是百云主机，小编将为大家推送更多相关知识点的文章，欢迎关注！
这篇文章主要介绍“vue更改数组属性在页面中不生效如何解决”，在日常操作中，相信很多人在vue更改数组属性在页面中不生效如何解决问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”vue更改数组属性在页面中不生效如何解决”的疑惑有所帮…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
