今天就跟大家聊聊有关 如何使用Function Compute对表格存储中数据做简单清洗，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。函数计算（Fu开发云主机域名nction Compute）是一个事件驱动的服务，通过函数计算，用户无需管理服务器等运行情况，只需编写代码并上传。函数计算准备计算资源，并以弹性伸缩的方式运行用户代码，而用户只需根据实际代码运行所消耗的资源进行付费。
Table Store Stream是用于获取Table Store表中增量数据的一个数据通道，通过创建Table Store触发器，能够实现Table Store Stream和函数计算的自动对接，让计算函数中自定义的程序逻辑自动处理Table Store表中发生的数据修改。表格存储高并发的写入性能以及低廉的存储成本非常适合物联网、日志、监控数据的存储，我们可以将数据写入到表格存储中，同时在函数计算中对新增的数据做简单的清洗、转换、聚合计算等操作，并将清洗之后的数据写回到表格存储的结果表中，并对原始明细数据及结果数据提供实时访问。下面，我们使用函数计算对表格存储中的数据做简单的清洗，并写入到结果表中。我们假设写入的为日志数据，包括三个基础字段：我们需要将 level>1 的日志写入到另外一张数据表中，用作专门的查询。在表格存储的控制台创建表格存储实例（__本次以 华东2 distribute-test 为例__），并创建源表（__source_data__）及结果表（__result__），主键为均 __id (整型)__，由于表格存储是 schemafree 结构，无需预先定义其他属性列字段。触发器功能需要先开启数据表的Stream功能，才能在函数计算中处理写入表格存储中的增量数据。Stream记录过期时长为通过 StreamAPI 能够读取到的增量数据的最长时间。由于触发器只能绑定现有的函数，故先到函数计算的控制台上在同region创建服务及函数。在函数计算的控制台上创建服务及处理函数，我们继续使用华东2节点。1.在华东2节点创建服务。2.创建函数依次选择：空白函数——不创建触发器。函数名称为：etl_test，选择 python2.7 环境，在线编辑代码函数入口为：etl_test.handler代码稍后编辑，点击下一步。3.进行服务授权由于函数计算需要将运行中的日志写入到日志服务中，同时，需要对表格存储的表进行读写，故需要对函数计算进行授权，为方便起见，我们先添加AliyunOTSFullAccess与 __AliyunLogFullAccess __权限，实际生产中，建议根据权限最小原则来添加权限。4.点击授权完成，并创建函数。5.修改函数代码。创建好函数之后，点击对应的函数—代码执行，编辑代码并保存，其中，INSTANCE_NAME(表格存储的实例名称)、REGION(使用的区域)需要根据情况进行修改：使用示例代码如下：对表格存储 Stream 数据的格式详情请参考Stream 数据处理1.回到表格存储的实例管理页面，点击表source_data后的 使用触发器 按钮，进入触发器绑定界面，点击使用已有函数计算， 选择刚创建的服务及函数，勾选表格存储发送事件通知的权限， 进行确定。2.绑定成功之后，能够看到如下的信息：1.向source_data表中写入数据。2.在result表中查询清洗后的数据看完上述内容，你们对 如何使用Function Compute对表格存储中数据做简单清洗有进一步的了解吗？如果还想了解更多知识或者相关内容，请关注开发云行业资讯频道，感谢大家的支持。
点击下载《不一样的 双11 技术：阿里巴巴经济体云原生实践》本文节选自《不一样的 双11 技术：阿里巴巴经济体云原生实践》一书，点击上方图片即可下载！作者汤志敏 阿里云容器服务高级技术专家汪圣平 阿里云云平台安全高级安全专家导读：从 Docker image …
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
