CentOS 8 部署 ELK日志分析 平台

1.开发人员不能登录线上服务器查看日志
2.各个系统都有日志，日志分散难以查找
3.日志数据量大，查找慢，数据不够实时ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash 。Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。
特点：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。rpm –import https://packages.elastic.co/GPG-KEY-elasticsearch #导入密钥
vim /etc/yum.repos.d/elasticsearch.repo #配置yum源yum install elasticsearch -y #安装elasticsearchvim /etc/elasticsearch/elasticsearch.ymlmkdir -p /data/es-data
chown -R elasticsearch:elasticsearch /data/es-data/生产环境中必须要修改（注意）vim /etc/security/limits.confsystemctl start elasticsearch.service #启动服务
netstat -ntap | grep 9200
ps -ef |grep elasticsearch/usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-headhttp://192.168.0.102:9200/_plugin/head/Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式开发云主机域名。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
logstash收集日志基本流程: input–>codec–>filter–>codec–>output
1.input:从哪里收集日志。
2.filter:发出去前进行过滤
3.output:输出至Elasticsearch或Redis消息队列
4.codec:输出至前台，方便边实践边测试
5.数据量不大日志按照月来进行收集vim /etc/yum.repos.d/logstash.repoyum install logstash -yinput {
指定输入
}output {
指定输出
}使用rubydebug方式前台输出展示以及测试
/opt/logstash/bin/logstash -e ‘input { stdin {} } output { stdout { codec => rubydebug} }’
hello #输入hello测试/opt/logstash/bin/logstash -e ‘input { stdin {} } output { file { path => “/tmp/test-%{+YYYY.MM.dd}.log”} }’
cat /tmp/test-2020.02.17.log/opt/logstash/bin/logstash -e ‘input { stdin {} } output { file { path => “/tmp/test-%{+YYYY.MM.dd}.log.tar.gz” gzip => true } }’
ll /tmp//opt/logstash/bin/logstash -e ‘input { stdin {} } output { elasticsearch { hosts => [“192.168.0.102:9200”] index => “logstash-test-%{+YYYY.MM.dd}” } }’
ll /data/es-data/yltx/nodes/0/indices
Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。wget https://artifacts.elastic.co/downloads/kibana/kibana-7.6.0-linux-x86_64.tar.gz
tar zxvf kibana-7.6.0-linux-x86_64.tar.gz -C /opt/
mv /opt/kibana-7.6.0-linux-x86_64/ /usr/local/kibanavim /usr/local/kibana/config/kibana.yml/usr/local/kibana/bin/kibana &
netstat -ntap |grep 5601 #查看端口号http://192.168.0.102:5601/
收集系统日志和收集java异常日志vim /root/file.conf/opt/logstash/bin/logstash -f /root/file.conf
ELK官网：https://www.elastic.co/cn/
中文指南：https://www.gitbook.com/book/chenryn/elk-stack-guide-cn/details

相关推荐: 当sudo用户偶遇上VI/VIM发生了什么?(sudo+vi/vim=root)藏在你身后的ROOT

一次偶然得出的亲身心得，于是记录下来提醒自己安全无小事，事事（时时）记心间。vi/vim大家再熟悉不过了，也许每天都在用它，但有时却常常容易忽略掉一些东西，一次在使用VIM修改系统配置时，发现sudo和VI/VIM相遇后藏着的鲜为人知的小秘密。一般服务器安装配…