小编给大家分享一下Hive源码编译的示例分析，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！Hive简介：Hive是一个基于Hadoop的数据仓库，可以将结构化数据映射成一张表，并提供类SQL的功能，最初由Facebook提供，使用HQL作为查询接口、HDFS作为存储底层、MapReduce作为执行层，设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据，2008年facebook把Hive项目贡献给Apache。Hive提供了比较完整的SQL功能（本质是将SQL转换为MapReduce），自身最大的缺点就是执行速度慢。Hive有自身的元数据结构描述，可以使用MySqlProstgreS 香港云主机qloracle 等关系型数据库来进行存储，但请注意Hive中的所有数据都存储在HDFS中。Hive具有比较好的灵活性和扩展性，支持UDF，自定义存储格式，适合离线数据处理。Hive体系架构：
1.用户接口：包括 CLI, Client, WUI。其中最常用的是 CLI，CLI为shell命令行，Cli 启动的时候，会同时启动一个 Hive 副本。Client 是 Hive 的客户端，用户连接至 Hive Server。在启动 Client 模式的时候，需要指出 Hive Server 所在节点，并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。
2.元数据存储：通常是存储在关系数据库如 mysql, derby 中
3.解释器、编译器、优化器、执行器：完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有MapReduce 调用执行。
4.Hadoop：Hive中数据用 HDFS 进行存储，利用 MapReduce 进行计算。Hive源码编译：我们选取CDH版本进行编译，以hive-1.1.0-cdh6.7.0版本为例。
前期准备：
1.配置jdk1.7环境。
2.安装maven。
3.安装hadoop-2.6.0-cdh6.7.0环境(版本号与hive要对应)。
注：前期我使用的是Apache 2.8版本的hadoop，目前已经更改为CDH版本以上是“Hive源码编译的示例分析”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注开发云行业资讯频道！
相关推荐: 怎样深入理解batched_reduce_size
这期内容当中小编将会给大家带来有关怎样深入理解batched_reduce_size，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。在search 流程中，协调节点收到客户端的查询请求后，将请求涉及到的转发到其他数据节点，这个…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
