Apache Beam2.23.0更新了哪些内容


这篇文章主要介绍“Apache Beam2.23.0更新了哪些内容”,在日常操作中,相信很多人在Apache Beam2.23.0更新了哪些内容问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Apache Beam2.23.0更新了哪些内容”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!Apache Beam 2.23.0现已发布。Apache BeamGoogle 在 2016 年 2 月份贡献给 Apache基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale数据集处理提供简单灵活,功能丰富以及表达能力十分强大的 SDKApache Beam项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。Twister2 Runner(BEAM-7304)。Python 3.8支持(BEAM-8494)。添加了对 Snowflake reading 的支持(Java)(BEAM-9722)。增加了对写入 Splunk 的支持(Java)(BEAM-8596)。添加了对 assume role 的支持(Java)(BEAM-10335)。已添加一个新的可从 BigQuery 读取的 transform:apache_beam.io.gcp.bigquery.ReadFromBigQuery。此 transform 是实验性的。它通过将数据导出到 Avro 文件并读取这些文件来从 BigQuery 读取数据。它还支持通过导出到 JSON 文件来读取数据。与时间和日期相关的字段在行为上有很小的差异。为 SnowflakeIO.write 添加 dispositions(BEAM-10343)更新 Snowflake JDBC 依赖关系,并将 application=beam 添加到 connection URL(BEAM-10383)。在反序列化 JSON(Java)时,RowJson.RowJsonDeserializerJsonToRowPubsubJsonTableProvider现在默认接受“implicit nulls”。以前的 null 只能用 explicit null 值表示,例如 {"foo": "bar", "baz": null},而像{"foo": "bar"} 这样的 implicit null 值则会引发异常。现在,两个 JSON 字符串默认都会产生相同的结果。可以使用用RowJson.RowJsonDeserializer#withNullBehavior来覆盖此行为。修复 Python 中GroupIntoBatches实验转换中的一个错误,该错误实际上是按键对批次进行分组的。这将更改此转换的输出类型(BEAM-6696)。删除 Gearpump runner。(BEAM-9999)删除 Apex 运行程序。(BEAM-9999)RedisIO.readAll() 已被弃用,将在 2 个版本中删除,用户必须使用 RedisIO.readKeyPatterns() 作为替代(BEAM-9747)。到此,关于“Apache Beam2.23.0更新了哪些内容”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!免费云主机域名若想继续学习更多相关知识,请继续关注百云主机网站,小编会继续努力为大家带来更多实用的文章!

相关推荐: 商城类小程序有哪些基本功能

本文小编为大家详细介绍“商城类小程序有哪些基本功能”,内容详细,步骤免费云主机域名清晰,细节处理妥当,希望这篇“商城类小程序有哪些基本功能”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。 商城类小程序基本功能点有哪些?伴随着智能机和手…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

Like (0)
Donate 微信扫一扫 微信扫一扫
Previous 09/01 07:34
Next 09/01 07:34

相关推荐