本篇内容主要讲解“Vertica集成ApacheHudi重磅使用的方法”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“Vertica集成ApacheHudi重磅使用的方法”吧!本文演示了使用外部表集成 Vertica 和 Apache Hudi。 在演示中我们使用 Spark 上的 Apache Hudi 将数据摄取到 S3 中，并使用 Vertica 外部表访问这些数据。Apache Hudi 是一种变更数据捕获 (CDC) 工具，可在不同时间线将事务记录在表中。 Hudi 代表 Hadoop Upserts Deletes and Incrementals，是一个开源框架。 Hudi 提供 ACID 事务、可扩展的元数据处理，并统一流和批处理数据处理。
以下流程图说明了该过程。 使用安装在 Apache Spark 上的 Hudi 将数据处理到 S3，并从 Vertica 外部表中读取 S3 中的数据更改。Apache Spark 环境。 使用具有 1 个 Master 和 3 个 Worker 的 4 节点集群进行了测试。 按照在多节点集群上设置 Apache Spark 中的说明安装 Spark 集群环境。 启动 Spark 多节点集群。Vertica 分析数据库。 使用 Vertica Enterprise 11.0.0 进行了测试。AWS S3 或 S3 兼容对象存储。 使用 MinIO 作为 S3 存储桶进行了测试。需要以下 jar 文件。将 jar 复制到 Spark 机器上任何需要的位置，将这些 jar 文件放在 /opt/spark/jars 中。Hadoop – hadoop-aws-2.7.3.jarAWS – aws-java-sdk-1.7.4.jar在 Vertica 数据库中运行以下命令来设置访问存储桶的 S3 参数：endpoint可能会有所不同，具体取决于 S3 存储桶位置选择免费云主机域名的 S3 对象存储。要将 Vertica 与 Apache Hudi 集成，首先需要将 Apache Spark 与 Apache Hudi 集成，配置 jars，以及访问 AWS S3 的连接。 其次，将 Vertica 连接到 Apache Hudi。 然后对 S3 存储桶执行 Insert、Append、Update 等操作。
按照以下部分中的步骤将数据写入 Vertica。
在 Apache Spark 上配置 Apache Hudi 和 AWS S3
配置 Vertica 和 Apache Hudi 集成在 Apache Spark 机器中运行以下命令。
这会下载 Apache Hudi 包，配置 jar 文件，以及 AWS S3导入Hudi的读、写等所需的包：使用以下命令根据需要配置 Minio 访问密钥、Secret key、Endpoint 和其他 S3A 算法和路径。创建变量来存储 MinIO 的表名和 S3 路径。准备数据，使用 Scala 在 Apache spark 中创建示例数据将数据写入 AWS S3 并验证此数据使用 Scala 运行以下命令以验证是否从 S3 存储桶中正确读取数据。在 vertica 中创建一个外部表，其中包含来自 S3 上 Hudi 表的数据。 我们创建了“旅行”表。运行以下命令以验证正在读取外部表：以下部分包含为查看 Vertica 中更改的数据而执行的一些操作的示例。在这个例子中，我们使用 Scala 在 Apache spark 中运行了以下命令并附加了一些数据：运行以下命令将此数据附加到 S3 上的 Hudi 表中：在这个例子中，我们更新了一条 Hudi 表的记录。 需要导入数据以触发并更新数据：运行以下命令将数据更新到 S3 上的 HUDI 表：以下是 spark.sql 的输出：以下是 Vertica 输出：执行以下指向特定时间戳的 spark 命令：使用以下命令将数据写入 S3 中的 parquet：在此示例中，我们正在读取截至“20211007092600”日期的 Hudi 表快照。通过在 parquet 文件上创建外部表从 Vertica 执行命令。到此，相信大家对“Vertica集成ApacheHudi重磅使用的方法”有了更深的了解，不妨来实际操作一番吧！这里是百云主机网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！
这篇“SpringBean的生命周期是什么”文章的知识点大部分人都不太理解，所以小编给大家总结了以下内容，内容详细，步骤清晰，具有一定的借鉴价值，希望大家阅读完这篇文章能有所收获，下面我们一起来看看这篇“SpringBean的生命周期是什么”文章吧。我们讲 S…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
