TDengine+Grafana如何实现数据可视化

这篇文章主要介绍了TDengine+Grafana如何实现数据可视化，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。在搞懂了基本的功能后，便上线了TDengine版的监控系统，但是发现，在grafana中居然不能“group by”，只能通过写where多条语句将多个短信状态数据放到一个仪表盘里，如图：如果where条件有更多，这样的方法就太笨，并且灵活性太差。于是，开始仔细研究官方文档，搞懂了“超级表”、“连续查询“等，在这个过程中遇到过不少问题，在这里做一下记录（测试环境，数据是模拟产生的）。一、安装和运行测试环境安装很简单：配置都用默认的（未改配置文件） 启动TDengine：
二、建库、建表在命令行输入“taos”以下建库、建表操作都在此提示符下进行创建数据库说明：
keep 365表示该库保存365天内的数据，365天之前的数据会被自动清除（因为是时序数据库，所以不能对库中的表进行delete操作）；precision ‘us’表示数据库中的时间戳精度为“微秒”，（默认是毫秒，也可以显示写为precision ‘ms’）， 经测试，此处用单引号和双引号都是可以的，但是不能没有引号。配置文件中已经不支持时间精度的配置，必须在建库的时候指定（测试了很多配置都不生效，Issues后得到的官方回复）TDengine的设计初衷是用于物联网，设备的信息采集精度到“毫秒”已经足够用，但我司的短信平台会有突发大量数据产生，为了避免可能会导致的数据丢失，将精度设置为“微秒”，经测试，效果很好，测试的模拟数据插入时间戳都用“now”获取，下图左侧为“毫秒”精度，能看到有“0 row(s)”的情况出现，表示有数据未插入， 右侧为“微秒”精度，未见未插入数据。 2. 创建超级表进入数据库“jk”短信系统中有3种type，几百种subtype，所以将这些静态信息（或者简单地理解为需要将进行group by的字段设置为tag）解释一下超级表：STable是同一类型数据采集点的抽象，是同类型采集实例的集合，包含多张数据结构一样的子表。每个STable为其子表定义了表结构和一组标签：表结构即表中记录的数据列及其数据类型；标签名和数据类型由STable定义，标签值记录着每个子表的静态信息，用以对子表进行分组过滤。子表本质上就是普通的表，由一个时间戳主键和若干个数据列组成，每行记录着具体的数据，数据查询操作与普通表完全相同；但子表与普通表的区别在于每个子表从属于一张超级表，并带有一组由STable定义的标签值。针对所有的通过STable创建的子表进行多表聚合查询，支持按照全部的TAG值进行条件过滤（where），并可将结果按照TAGS中的值进行聚合（group by），暂不支持针对binary类型的模糊匹配过滤。标签数据（或者叫标签值）直接关联到每个子表，相同的标签值（一个或者多个，最多6个）定位到一个子表（用“写数据时自动建表”的方式，可以将“相同的标签值”对应到多个子表）。tag值支持中文，需要将tag类型设置为NCHAR（在其他测试中已经验证过）。
3. 创建子表（子表就是普通表，表结构完全由超级表定义）：相同类型的type和subtype的组合创建为一个子表（只是进行测试，所以并没有将所有的几百个subtype都进行建表） 4. 插入数据以上是对上述创建的7个子表分别插入模拟数据，由于模拟大量数据，所以需要写shell脚本（也可以用其他方式）进行数据灌入。写入数据时不能直接对STable操作，而是要对每张子表进行操作。 5. 数据库、表结构等查询查询数据库信息：查询超级表：查询超级表的表结构：可以在Note列看到“tag”，表示是此列是标签查询子表：查询具体的子表的表结构：可以在Note列看到“undeliv”（超级表中的type字段）和“DB:0108″（超级表中的subtype字段），这2个静态标签值确定了这个子表 6. 数据查询
对type进行分组聚合查询：对subtype进行分组聚合查询：对type和subtype进行分组聚合查询：按天对type和subtype进行分组聚合查询：此处interval是聚合时间段的长度， 最短时间间隔10毫秒（10a）未建超级表时，对普通表进行分组聚合查询，会报错： 7. 写数据时自动建子表我们有另外一个需求，由于要监控的静态数据多达几百个，而且具有不确定性，所以无法全部在建库、建表的时候创建所有子表，这个功能完全解决了我们的这个问题。以下是官网的文档摘录：在某些特殊场景中，用户在写数据时并不确定某个设备的表是否存在，此时可使用自动建表语法来实现写入数据时用超级表定义的表结构自动创建不存在的子表，若该表已存在则不会建立新表。注意：自动建表语句只能自动建立子表而不能建立超级表，这就要求超级表已经被事先定义好。自动建表语法跟insert/import语法非常相似，唯一区别是语句中增加了超级表和标签信息。具体语法如下：INSERT INTO USING TAGS (, …) VALUES (field_value, …) (field_value, …) …;
对比，用create创建子表：
create table jiankong_sub_send using jiankong tags (‘send’, ‘send’);三、安装和配置garafana安装在官网https://grafana.com/grafana/download下载grafana的rpm安装包后，进行安装： 2. copy TDengine的Grafana插件到Grafana的插件目录TDengine的Grafana插件在安装包的/usr/local/taos/connector/grafana目录下 3. 启动Grafana 4. 在浏览器中通过host:3000登录Grafana服务器默认用户名和密码都是admin 5. 添加TDengine数据源在最下方找到“TDengine”Name：“TDengine”（可以是其他名字）Host：测试服务器地址“http://192.168.8.66:6020”User: 默认为“root”Password：默认为“taosdata”测试一下： 6. 添加Folder将相同类型需要监控的仪表盘（dashboard）放到一个Folder中 7. 添加Dashboard进入刚才创建的Folder后，创建DashboardINPUT处的sql语句，要注意fill的位置，需要在group by前面，否则报错配置图形显示可以根据需求进行曲线图，表格，仪表盘等的选择在这里配置“曲线图”，图示下方是具体的图形显示细则，如：标线、是否填充，对显示的字段进行曲线颜色的自定义等给此仪表盘起个一看就懂的名字： 8. 配置了6个仪表盘
9. 无group by和有group by的实例无group by，需要写多条sql，通过where条件去区分，如果分类多就很麻烦且不灵活有group by，一条sql就解决问题了：下图是有无group by的曲线趋势对比，可以看到是一模一样的四、高级功能初探和一些联想 1.连续查询(Continuous Query)—-用户级别的预计算TDengine的“预计算”的概念我觉得非常的棒，官网文档摘录如下：为有效地提升查询处理的性能，针对物联网数据的不可更改的特点，TDengine采用在每个保存的数据块上，都记录下该数据块中数据的最大值、最小值、和等统计数据。如果查询处理涉及整个数据块的全部数据，则直接使用预计算结果，不再读取数据块的内容。由于预计算模块的大小远小于磁盘上存储的具体数据的大小，对于磁盘IO为瓶颈的查询处理，使用预计算结果可以极大地减小读取IO，并加速查询处理的流程。连续查询的官网文档摘录如下：基于滑动窗口的流式计算（Stream）连续查询是TDengine定期自动执行的查询，采用滑动窗口的方式进行计算，是一种简化的时间驱动的流式计算。针对库中的表或超级表，TDengine可提供定期自动执行的连续查询，用户可让TDengine推送查询的结果，也可以将结果再写回到TDengine中。每次执行的查询是一个时间窗口，时间窗口随着时间流动向前滑动。在定义连续查询的时候需要指定时间窗口（time window, 参数interval ）大小和每次前向增量时间（forward sliding times, 参数sliding）。其中，将结果再写回到TDengine中的方式其实就是一种用户级别的预计算，这样由TDengine按照用户定义的时间窗口和时间增量进行后台的计算，在用户查询数据的时候，直接从回写的表中读取数据，速度就会非常快。创建连续查询：上述连续查询，sql的select部分实际的输出结果为：自动创建的连续查询的表中实际的数据为：上述结果并不是期待的结果，没有按照我定义的group by字段进行聚合查询显示。于是github Issues， taos的攻城狮回复“连续查询目前还不能很好的支持 group 香港云主机by，这个问题已经在我们的计划列表里，后续会完善这方面的功能”，原因是“因为这样回写后，新表的时间戳主键可能出现相同（不同的group by字段会有相同的时间），就会冲突了，所以暂时不支持”。感谢你能够认真阅读完这篇文章，希望小编分享的“TDengine+Grafana如何实现数据可视化”这篇文章对大家有帮助，同时也希望大家多多支持开发云，关注开发云行业资讯频道，更多相关知识等着你来学习!

相关推荐: R语言可视化ggplot图表系统中的形状类别是什么

这篇文章主要介绍“R语言可视化ggplot图表系统中的形状类别是什么”，在日常操作中，相信很多人在R语言可视化ggplot图表系统中的形状类别是什么问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”R语言可视化ggplot图表系统中…