go单体日志采集zincsearch怎么实现

今天小编给大家分享一下go单体日志采集zincsearch怎么实现的相关知识点，内容详细，逻辑清晰，相信大部分人都还太了解这方面的知识，所以分享这篇文章给大家参考一下，希望大家阅读完这篇文章后有所收获，下面我们一起来了解一下吧。zincsearch用官方的话说是一个全文本搜索引擎，而且搜索很快。支持es格式接口，一般ELK中直接filebeat采集数据直接给es，你要使用zincsearch可以直接把它放到filebeat后头，filebeat采集数据给zincsearch。因为单体比较简单，filebeat使用也有一定门槛，我就自己写了一个logfile，专门采集日志，通过接口把数据传给zincsearch，构架如下图。数据入库后通过zincsearch自带ui界面(类似kibana)就可以检索数据了.我是通过docker安装的，为了方便启动做成了一个docker-compose，配置如下：docker-compose.yml.env在目录下创建指定的data目录 运行 docker-compose up -d 即可。logbeat是一个我自己写的类似filebeat的采集器，主要原理也是用了一个由tail作用的go库对文件进行监控，当由数据采集上来后进行过滤处理然后发送给zincsearch。logbeat也是完全由golang编写，项目地址 gitee.com/lambdang/lo… 该项目下载下来编译后进行配置即可使用。logbeat特点：当zincsearch挂掉后整个采集就阻塞住了，会按照设定的时长进行服务可用性轮询试探，直到zincsearch服务恢复该logbeat支持多文本日志监控，采集后为了减少zincsearch的压力，会顺序进行数据发送。如果有filebeat经验的人也可以直接用filebeat进行数据采集，zincsearch文档上有filebeat的配置。配置项如下：zincsearch是以索引组织数据的，删除目前通过文档只发现了两种方式，一种是根据记录的id进行单个删除，一种是根据索引批免费云主机域名量删除该索引下的所有数据，所以数据最好按照天或者月进行索引组织，这样方便以后按照天或者月进行数据删除，毕竟谁的硬盘也不是无穷大的。之前一直想通过按照搜索进行数据删除，比如给一个时间段，然后进行删除，但是没有发现类似方法，有能这样实现的小伙伴欢迎交流。zincsearch索引数据一共有如下几种类型其中date类型是个特殊的存在文档中索引的日期类型可以按照实际文本数据设置format。如下图：但是通过一番摸索发现这个format只是你日志的格式，并不是最终ui界面显示的格式，经过测试，所有date类型数据最终都会转换成”数值“，可能是为了搜索的时候可以比较大小吧，但是显示的时候也是数值，这个就看着很不友好了。目前我能想到的就觉方案是索引里不要弄date类型，直接弄numeric类型时间戳和text类型的字符串，两个同时弄，即方便时间区间查询也方便查看，也可以根据时间字符串进行查询，毕竟这可是支持全文检索的。谁有更好的方案欢迎交流。所有数据查询都需要一个时间范围，一般默认是30分钟内，但是你也可以设置一天，一星期，一个月，也可以设置时间段。但是不要以为设置多少时间就能检索出该时间内所有数据，还要看数据量，就是数据左下角那个数值。这个数值可以设置，这个才是决定最终的数据量的，它设置100，你检索出来的数据只是检索条件中结束时间点开始往前100条数据。所以你时间跨度设置再大，这个数值很小，你查出来数据也很少的。以上就是“go单体日志采集zincsearch怎么实现”这篇文章的所有内容，感谢各位的阅读！相信大家阅读完这篇文章都有很大的收获，小编每天都会为大家更新不同的知识，如果还想学习更多的知识，请关注百云主机行业资讯频道。

相关推荐: Docker MySQL无法被宿主机访问如何解决

这篇文章主要介绍“DockerMySQL无法被宿主机访问如何解决”，在日常操作中，相信很多人在DockerMySQL无法被宿主机访问如何解决问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对免费云主机域名大家解答”DockerMySQL无法被…