ELK日志系统搭建

1,909 阅读1分钟

资源下载地址

版本

  • elasticsearch6.7.1
  • logstash6.7.1
  • kibana6.5.4

ElasticSearch安装

1.修改conf/elasticsearch.yml
节点承担着数据及master的角色,开放host。
因为服务器只剩下1G的内存,调了下jvm的参数为512m

cluster.name: es6.7  
node.name: node-1  
node.master: true  
node.data: true   
network.host: 0.0.0.0  

2.启动es 不能用root启动es,所以新建一个用户并分配权限

adduser es
chown -R es:es elasticsearch-6.7.1
su es
cd elasticsearch-6.7.1
./bin/elasticsearch

image

启动出现错误

max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

vi /etc/sysctl.conf
vm.max_map_count = 262144
sysctl -p

image

Logstash安装

1.修改conf/logstash-simple.conf

image
2.启动Logstash

cd /home/es/logstash-6.7.1/config
vim logstash-simple.conf
cd logstash-6.7.1/bin
./bin/logstash -f config/logstash-simple.conf

启动后logstash读取日志文件,发送到es,并自动创建索引

image

启动Kibana

因为是windows启动,直接下载后点击kibana.bat

此处可能需要修改conf目录下的kibana.yml,将elasticsearch.url修改为你要连接的es地址,否则默认连接localhost:9200

image

测试

elasticsearch-head插件查看es数据(kibana其实也是可以看的)

image

echo "hello" >> dru.log

向日志末尾追加文字,可以看到logstash输出日志,并在es中查到

总结

这是最简单的elk搭建方式,此处省略了logstash对日志的解析及过滤,其最强大的地方就是过滤器filter,可以对日志进行格式化解析;es的索引也没有进行优化,默认创建了5个主副分片

Logstash配置详解
Logstash文档