这篇文章主要介绍“SpringBoot怎么整合dataworks”的相关知识，小编通过实际案例向大家展示操作过程，操作方法简单快捷，实用性强，希望这篇“SpringBoot怎么整合dataworks”文章能帮助大家解决问题。这里测试主要是调用拉取dataworks上拉取的脚本，并存储到本地。
脚本包含两部分1、开发的odps脚本(通过OpenApi获取)2、建表语句脚本(通过dataworks信息去连接maxCompute获取建立语句)阿里云Dataworks的openApi分页查询限制，一次最多查询100条。我们拉取脚本需要分多页查询该项目使用到了MaxCompute的SDK/JDBC方式连接，SpringBoot操作MaxCompute SDK/JDBC连接实现主要是编写工具类，如果需要则可以配置成SpringBean，注入容器即可使用基础类准备，拉取脚本之后的回调函数为什么需要回调函数，因为拉取的是所有脚本，如果合并每次分页结果的话，会导致内存溢出，而使用回调函数只是每次循环增加处理函数主要是实例化dataworks openApi接口的客户端信息，maxCompute连接的工具类初始化(包括JDBC,SDK方式)调用OpenApi拉取所有脚本内部连接MaxCompute拉取所有DDL脚本内容DataWorks工具类代码，通过回调函数处理MaxCompute工具类代码，根据表名获取建表语句, 以SDK为例， JDBC直接执行show create table即可拿到建表语句test_001脚本
test_002脚本
test_003脚本
test_004脚本
test_005脚本
=======================================
表名：test_abc_info内容如下：免费云主机域名CREATE TABLE IF NOT EXISTS test_abc_info
(
test_abc1 STRING COMMENT ‘字段1’,
test_abc2 STRING COMMENT ‘字段2’,
test_abc3 STRING COMMENT ‘字段3’,
test_abc4 STRING COMMENT ‘字段4’,
test_abc5 STRING COMMENT ‘字段5’,
test_abc6 STRING COMMENT ‘字段6’,
test_abc7 STRING COMMENT ‘字段7’,
test_abc8 STRING COMMENT ‘字段8’
)
PARTITIONED BY (p_date STRING COMMENT ‘数据日期’
)
;
=======================================
Disconnected from the target VM, address: ‘127.0.0.1:59509’, transport: ‘socket’关于“SpringBoot怎么整合dataworks”的内容就介绍到这里了，感谢大家的阅读。如果想了解更多行业相关的知识，可以关注百云主机行业资讯频道，小编每天都会为大家更新不同的知识点。
相关推荐: C#中wpf怎么利用附加属性实现界面上定义装饰器
这篇文章主要介绍了C#中wpf怎么利用附加属性实现界面上定义装饰器的相关知识，内容详细易懂，操作简单快捷，具有一定借鉴价值，相信大家阅读完这篇C#中wpf怎么利用附加属性实现界面上定义装饰器文章都会有所收获，下面我们一起来看看吧。装饰器是wpf中可以浮在控件上…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
