这篇文章主要介绍“Hive解析Json数组详细教程”，在日常操作中，相信很多人在Hive解析Json数组详细教程问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”Hive解析Json数组详细教程”的疑惑 香港云主机有所帮助！接下来，请跟着小编一起来学习吧！在Hive中会有很多数据是用Json格式来存储的，如开发人员对APP上的页面进行埋点时，会将多个字段存放在一个json数组中，因此数据平台调用数据时，要对埋点数据进行解析。接下来就聊聊Hive中是如何解析json数据的。1. get_json_object语法：get_json_object(json_string, ‘$.key’)说明：解析json的字符串json_string,返回path指定的内容。如果输入的json字符串无效，那么返回NULL。这个函数每次只能返回一个数据项。示例：结果：如果既要解析name字段，也解析age字段，则可以这样写：但是如果要解析的字段有很多，再这样写就太麻烦了，所以就有了 json_tuple 这个函数。2. json_tuple语法：json_tuple(json_string, k1, k2 …)说明：解析json的字符串json_string,可指定多个json数据中的key，返回对应的value。如果输入的json字符串无效，那么返回NULL。示例：结果:注意：上面的json_tuple函数中没有$.如果在使用json_tuple函数时加上$.就会解析失败：结果:字段全是NULL，所以json_tuple函数不需要加$.了，否则会解析不到。总结：json_tuple相当于get_json_object的优势就是一次可以解析多个json字段。但是如果我们有个json数组，这两个函数都无法处理。如果有一个hive表，表中 json_str 字段的内容如下：我们想把这个字段解析出来，形成如下的结构：要解析这个json数组，仅用上面介绍的两个函数就解析不出来了，还需用到如下介绍的几个函数：语法：explode(Array OR Map)说明：explode()函数接收一个array或者map类型的数据作为输入，然后将array或map里面的元素按照每行的形式输出，即将hive一列中复杂的array或者map结构拆分成多行显示，也被称为列转行函数。示例：语法: regexp_replace(string A, string B, string C)说明：将字符串A中的符合java正则表达式B的部分替换为C。注意，在有些情况下要使用转义字符，类似oracle中的regexp_replace函数。示例：上述示例将字符串中的 oo 或 ar 替换为”。有了上述几个函数，接下来我们来解析json_str字段的内容：先将json数组中的元素解析出来，转化为每行显示：对上述sql进行简要说明：为什么要将json数组元素之间的逗号换成分号?因为元素内的分隔也是逗号，如果不将元素之间的逗号换掉的话，后面用split函数分隔时也会把元素内的数据给分隔，这不是我们想要的结果。上步已经把一个json数组转化为多个json字符串了，接下来结合son_tuple函数来解析json里面的字段：执行上述语句，结果报错了：意思是UDTF函数不能写在别的函数内，也就是这里的explode函数不能写在json_tuple里面。既然explode函数不能写在别的json_tuple里面，那我们可以用子查询方式，如下所示：执行上述语句，没有报错，执行结果如下：hive表中 goods_id 和 json_str 字段的内容如下：目的：把 goods_id 字段和 json_str 字段中的monthSales解析出来。下面我们就开始解析：拆分goods_id字段及将json数组转化成多个json字符串：执行上述语句，结果报错：意思是用UDTF的时候，SELECT 只支持一个字段。而上述语句select中有两个字段，所以报错了。那怎么办呢，要解决这个问题，还得再介绍一个hive语法：lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一行或者多行，lateral view在把结果组合，产生一个支持别名表的虚拟表。示例：假设我们有一张用户兴趣爱好表 hobbies_table，它有两列数据，第一列是name，第二列是用户兴趣爱好的id_list，是一个数组，存储兴趣爱好的id值：我们要统计所有兴趣id在所有用户中出现的次数：对兴趣id进行解析：上述sql执行结果：2. 按照hobby_id进行分组聚合即可：结果：介绍完 lateral view 之后，我们再来解决上面遇到的用UDTF的时候，SELECT 只支持一个字段的问题：注意：上述语句是三个表笛卡尔积的结果，所以此方式适用于数据量不是很大的情况。上述语句执行结果如下：如果表中还有其他字段，我们可以根据其他字段筛选出符合结果的数据。总结：lateral view通常和UDTF一起出现，为了解决UDTF不允许在select存在多个字段的问题。到此，关于“Hive解析Json数组详细教程”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注开发云网站，小编会继续努力为大家带来更多实用的文章！
这期内容当中小编将会给大家带来有关PHP中怎么实现一个信号中断系统，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。中断系统跟PHP没有关系啊，不过PHP官方的pcntl扩展支持了，一般把正在执行的程序称为主程序，当中断源【比如…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
