0039-如何使用Python Impyla客户端连接Hive和Impala

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。1.文档编写目的继上一章讲述如何在CDH集群安装Anaconda&搭建Python私有源后，本章节主要讲述如何使用Pyton Impyla客户端连接CDH集群的HiveServer2和Impala Daemon，并进行SQL操作。1.依赖包安装2.代码编写3.代码测试1.CM和CDH版本为5.11.22.RedHat7.21.CDH集群环境正常运行2.Anaconda已安装并配置环境变量3.pip工具能够正常安装Python包4.Python版本2.6+ or 3.3+5.非安全集群环境2.Impyla依赖包安装Impyla所依赖的Python包1.首先安装Impyla依赖的Python包注意：thrift的版本必须使用0.9.3，默认安装的为0.10.0版本，需要卸载后重新安装0.9.3版本，卸载命令pip uninstall thrift2.安装Impyla包impyla版本，默认安装的是0.14.0，需要将卸载后安装0.13.8版本3.编写Python代码Python连接Hive（HiveTest.py）from impala.dbapi importconnectconn = connect(host=‘ip-172-31-21-45.ap-southeast-1.compute.internal’,port=10000,database=‘default’,auth_mechanism=‘PLAIN’)print(conn)cursor = conn.cursor()cursor.execute(‘s 香港云主机how databases’)print cursor.description # prints the result set’s schemaresults = cursor.fetchall()print(results)cursor.execute(‘SELECT * FROM test limit 10’)print cursor.description # prints the result set’s schemaresults = cursor.fetchall()print(results)Python连接Impala（ImpalaTest.py）from impala.dbapi importconnectconn = connect(host=‘ip-172-31-26-80.ap-southeast-1.compute.internal’,port=21050)print(conn)cursor = conn.cursor()cursor.execute(‘show databases’)print cursor.description # prints the result set’s schemaresults = cursor.fetchall()print(results)cursor.execute(‘SELECT * FROM test limit 10’)print cursor.description # prints the result set’s schemaresults = cursor.fetchall()print(results)4.测试代码在shell命令行执行Python代码测试1.测试连接Hive_root@ip-172-31-22-86_ec2-user# python HiveTest.py >_(‘database_name’, ‘STRING’, None, None, None, None, None)(‘default’,)(‘test.s1’, ‘STRING’,None, None, None, None, None), (‘test.s2’, ‘STRING’, None, None, None, None, None)(‘name1’, ‘age1’), (‘name2’, ‘age2’), (‘name3’, ‘age3’), (‘name4’, ‘age4’), (‘name5’, ‘age5’), (‘name6’, ‘age6’), (‘name7’, ‘age7’), (‘name8’, ‘age8’), (‘name9’, ‘age9’), (‘name10’, ‘age10’)[root@ip-172-31-22-86 ec2-user]# 2.测试连接Impala_root@ip-172-31-22-86_ec2-user# python ImpalaTest.py >_(‘name’, ‘STRING’, None, None, None, None, None), (‘comment’, ‘STRING’, None, None, None, None, None)(‘_impala_builtins’, ‘Systemdatabase for Impala builtin functions’), (‘default’, ‘Default Hive database’)(‘s1’, ‘STRING’, None, None, None,None, None), (‘s2’, ‘STRING’, None, None, None,None, None)(‘name1’, ‘age1’), (‘name2’, ‘age2’), (‘name3’, ‘age3’), (‘name4’, ‘age4’), (‘name5’, ‘age5’), (‘name6’, ‘age6’), (‘name7’, ‘age7’), (‘name8’, ‘age8’), (‘name9’, ‘age9’), (‘name10’, ‘age10’)[root@ip-172-31-22-86 ec2-user]# 5.常见问题1.错误一解决方法：2.错误二解决方法：醉酒鞭名马，少年多浮夸！ 岭南浣溪沙，呕吐酒肆下！挚友不肯放，数据玩的花！
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。推荐关注Hadoop实操，第一时间，分享更多Hadoop干货，欢迎转发和分享。
原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操

相关推荐: Go的delete()函数怎么使用

这篇“Go的delete()函数怎么使用”文章的知识点大部分人都不太理解，所以小编给大家总结了以下内容，内容详细，步骤清晰，具有一定的借鉴价值，希望大家阅读完这篇文章能有所收获，下 香港云主机面我们一起来看看这篇“Go的delete()函数怎么使用”文章吧。d…