怎么使用elk搭建密码top统计库

怎么使用elk搭建密码top统计库，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。elk本身是非常强大的日志处理系统，分别由elasticsearch、logstash、kibana构成，功能分别是数据库、数据处理、前端展示。利用这些搭建一套用于密码topN统计的系统。当然要完成这种统计需要强大的处理性能。操作系统： ubuntu 20.4 64位内存：16G硬盘：2T数据盘，128G ssd系统盘ElasticSearch：7.10.1Kibana：7.10.1Logstash：7.10.1解压文件，tar -zxvf elasticsearch*.tar.gz，切换目录到elasticsearch中，之后所有关于elasticsearch的设置基本发生在此目录中修改配置文件，conf/elasticsearch.yml建议修改如下 配置———-路径———-
根据实际情况做修改
#数据存储路径
#path.data: /path/to/data
#日志文件路径
#path.logs: /path/to/logs
———-内存———-
#在启动过程中是否为内存加锁:
bootstrap.memory_lock:true
请保证 `ES_HEAP_SIZE` 环境变量的设置大约为系统可用内存的一半

———-网络———–
#绑定IP地址，单机搭建的情况建议改成127.0.0.1，
network.host：127.0.0.1
http.port:9200启动elasticsearch通过命令./bin/elasticsearch直接启动，以前台的形式运行。通过命令curl 127.0.0.1:9200查看是否启动成功。但是可以在使用过程中会报错，就是内存不足。此时需要修改jvm的大小。这个大小建议改成实际内存的一半。比我的电脑实际内存为16G，这里我用的就是8g。文件位置：./config/jvm.options–Xms8g
–Xmx8g之后使用命令nohup ./bin/elasticsearch &以后台的方式运行ES下载kibana解压文件，tar -zxvf kibana*.tar.gz，切换目录到kibana中，之后所有关于kibana的设置基本发生在此目录中。kibana配置文件位置./config/kibana.yml#监听端口
server.port:5601 #默认配置
#IP配置
server.host:0.0.0.0 #建议改成全部网卡
#elasticsearch 地址
elasticsea免费云主机域名rch.hosts:[“http://localhost:9200”]#根据实际情况配置，我上面配置的是localhost也就是127.0.0.1之后通过命令nohup ./bin/kibana &在后台运行kabana，通过host:5601在浏览器访问kibana添加数据实际上比较好用的方式是使用logstash进行数据导入，这种方式可以根据自己的实际情况，编写数据格式，定制化高，但是有一定的难度。实际上logstash也是整个部分中最重要的地方，就是数据导入，通过logstash可以将各种类型的数据格式后后导入到ES 中存储。下载logstash解压文件，tar -zxvf logstash*.tar.gz，切换目录到logstash中，之后所有关于logstash的设置基本发生在此目录中。开始进行数据 导入前，我们先理解一个东西，logstash实际上是用来收集日志并进行格式化处理的一个工具，集input、filter和output等插件input可以接受来自beat（elk中一个轻量级的客户端，有多种beat，有兴趣的朋友可以自行了解）、日志文件、syslog等方式收集的日志。具体的可以参考官方手册https://www.elastic.co/guide/en/logstash/current/input-plugins.html。我们这里使用的是file插件。filter可以使用grok、json、xml等方式格式化数据，根据实际情况选择某种方式具体的可以参考官方手册https://www.elastic.co/guide/en/logstash/current/filter-plugins.html。我们这里使用的主要是grok，可以根据文件情况编写不同的正则表达式来处理文件。output实际上是结果的输出，也支持多种插件如syslog、csv、file等，具体参考官方手册https://www.elastic.co/guide/en/logstash/current/output-plugins.html ，我们这里使用的elasticsearch，将结果输出到es中。示例文件weakpass.txtadmin—-123456
admin—-admin
admin—-1
admin—-12345
test—-123
test—-test
test—-1234
……config 目录下有个名为lostash-sample.conf的示例文件我们根据上面的示例文件配置一个weakpass.conf文件使用命令 ./bin/logstash -f config/weakpass.conf来使用我们写的配置文件导入数据。如果运行命令之后没有数据输出，建议删除./data的所有文件，一定要看清楚目录。为了减少数据的冗余度及硬盘空间的大小，所以我们要根据情况删除一些无用字段，如path、message、host等。我们在gork中加入配置remove_field=>[“path”,”message”,”host”]通过这样的配置，我们的数据量就减少了，其实时间戳也是可以删除了，而且并没有存在的意义，每条记录都带一个时间戳，实在是占用硬盘 空间。因为我们是在测试，所有使用的文件一直是weakpass.txt，logstash存在一个问题，处理过一次的数据，不会重复处理（描述不一定正确）。所有建议清空data目录。再进行下面的操作。修改配置文件如下之后我们就可以在kibana中的索引管理中看到我们的索引这是我们就可以根据所以创建索引模式了创建完成后就可以在discover中检索数据了比如我们输入1，就可以检索到所有跟1相关的数据，我们也可以检索用户名为admin的数据，这个就之会出来用户名为admin的用户了使用kibana的dashboard可以统计密码排行创建Data Table,选择源为我们上面创建的，之后进行如下的配置这样我们就得到了上面排名了。因为数据比较少，所以统计速度快，这里就做了演示，没有进行更多的数据导入了。由于logstash在导入数据中会加入一些无用的字段，这些字段会在每一条记录中都出现，所以可以删除来减少服务器的存储空间。path 原始路径message 完整记录host 主机名@timestamp 时间戳由于我们要导入不同的口令文件，所以我们要为后面的检索做好准备，这里我们就要根据导入内容的不同在output部分写上不同类型的索引，方便后面做检索使用。index => 索引名，如果我们要导入的密码包括不同类型，这里抖机灵一下，写上不同的类型，
如weakpass-mail-1、weakpass-q-1、weakpass-b-1，这样我们在利用kibana进行创建索引样式时就可以创建weakpass*这一类的样式了。

之后便可以在discover中选择对应的pattern来检索某一类数据。看完上述内容是否对您有帮助呢？如果还想对相关知识有进一步的了解或阅读更多相关文章，请关注云编程开发博客行业资讯频道，感谢您对云编程开发博客的支持。

相关推荐: 关于波分复用技术的CWDM与DWDM光模块介绍

目前，WDM（波分复用）技术发展十分迅速，已展现出巨大的生命力和光明的发展前景。在同一根光纤中同时让免费云主机域名两个或两个以上的光波长信号通过不同光信道各自传输信息，称为光波分复用技术，简称WDM。光波分复用又包括CWDM与DWDM。什么是CWDW光模块CW…