使用Docker搭建ElasticSearch+Logstash+Kibana环境

最近在做 Spring Cloud 相关系列框架的搭建,在做到整合微服务跟踪-Sleuth后,项目添加了Sleuth后已经能够正常的输出跟踪信息日志,接下来要对整个日志进行分析处理,这里选取使用配合ELK来做,首先需要搭建整个ELK环境。

ELK介绍

ELK (官网)其实是三个不同的内容,一般配合一起使用。分别是:

  • ElasticSearch
  • Logstash
  • Kibana

具体的介绍可以看官网的每个产品介绍

Windows 环境搭建

可以参考:https://blog.csdn.net/pilihaotian/article/details/52452010 ,基本上比较详细了,但是也可以看出windows安装比较繁琐,而且还会耗费机器本身资源,本文介绍使用Docker安装搭建。

Docker 环境搭建

ELK对应的有很多版本,本文均使用最新版本

安装 elasticsearch

拉取镜像

1
docker pull elasticsearch

启动容器

1
docker run -d -p 9200:9200 --name leon_elasticsearch elasticsearch

此时访问地址:http://192.168.9.151:9200/,看到如下效果说明启动成功:
1.jpg

安装插件 elasticsearch-head

一般情况下,安装插件只需要执行命令:

1
elasticsearch-plugin install mobz/elasticsearch-head

那么我们现在进入到容器中对应的目录:/usr/share/elasticsearch/bin/,然后执行上述命令,但是发现报错:

查阅相关文档得知以下信息:

– for Elasticsearch 5.x:
site plugins are not supported. Run elasticsearch-head as a standalone server

也就是说5.X以上的版本,需要单独启动 elasticsearch-head 服务。
那么单独启动运行插件容器:

1
docker run -d -p 9100:9100 --name leon_elasticsearch-head mobz/elasticsearch-head:5

注意后面跟的版本5,一定要对应自己的版本。

容器启动后,访问地址:http://192.168.9.151:9100/

2.jpg

此时代表插件服务已经启动,但是点击连接,发现无法连接elasticsearch服务,需要修改配置文件,文件地址为容器中的:/usr/share/elasticsearch/config/elasticsearch.yml

我们进入容器,发现无法使用VI命令修改文件,这个时候可以安装VI工具然后修改文件,或者使用另外一种粗暴的方法,在外面修改然后覆盖文件。这里因为安装VI总是出错,所以使用第二种方式。

首先将容器中的配置文件导出来:

1
docker cp leon_elasticsearch:/usr/share/elasticsearch/config/elasticsearch.yml /home/px2/elasticsearch.yml

在文件中添加以下内容:

1
2
3
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization

然后在替换容器中的文件:

1
docker cp /home/px2/elasticsearch.yml leon_elasticsearch:/usr/share/elasticsearch/config/elasticsearch.yml

重启容器,然后重新访问:http://localhost:9100/ 就可以连接上了(此时还没有数据)

3.jpg

注意:如果还是不能连接,可以访问地址来连接:http://localhost:9100/?auth_user=elastic&auth_password=changeme

安装logstash

这里有个比较坑的问题,使用Docker官方Hub里的镜像 docker pull logstash 启动的容器总是会自动停掉,无法运行,后来选择使用官网中的镜像地址:

1
docker run --name leon_logstash docker.elastic.co/logstash/logstash:6.2.4

修改配置文件,进入容器:

1
docker exec -it leon_logstash /bin/bash

进入目录cd config
打开并修改配置文件 vi logstash.yml:

1
2
3
4
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.url: http://192.168.9.151:9200
xpack.monitoring.elasticsearch.username: elastic
xpack.monitoring.elasticsearch.password: changeme

安装kibana

拉取镜像

1
docker pull kibana

启动容器

1
docker run --name leon_kibana -p 5601:5601 -d -e ELASTICSEARCH_URL=http://192.168.9.151:9200 kibana

配置

访问地址:http://192.168.9.151:5601 ,看到如下效果

4.jpg

此时报错中间红色部分,无法进行创建,找到资料得知:

5.jpg

看官网的解释说这是因为初次设置的时候logstash没有加载到数据导致的。所以先要保证logstash能够加载到数据。

配置数据

进入到容器中:

1
docker exec -it leon_logstash /bin/bash

然后进入如下目录:
cd pipeline/
打开配置文件:vi logstash.conf

修改内容如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
input {
file {
codec=> json
path => "/usr/local/*.json"
}
}
filter {
#定义数据的格式
grok {
match => { "message" => "%{DATA:timestamp}\|%{IP:serverIp}\|%{IP:clientIp}\|%{DATA:logSource}\|%{DATA:userId}\|%{DATA:reqUrl}\|%{DATA:reqUri}\|%{DATA:refer}\|%{DATA:device}\|%{DATA:textDuring}\|%{DATA:duringTime:int}\|\|"}
}
}
output {
elasticsearch{
hosts=> "http://192.168.9.151:9200"
}
}

其中指定了输出地址:elasticsearch的地址,而且还指定了内容输入地址:/usr/local/*.json,需要在usr/local下有json格式的数据,接下来将项目生成的json格式的日志文件上传到该目录。

1
2
3
docker cp /home/px2/logs/shop-user-consumer.json leon_logstash:/usr/local/shop-user-consumer.json
docker cp /home/px2/logs/shop-user-provider.json leon_logstash:/usr/local/shop-user-provider.json

然后重启logstash容器,在重新访问页面,可以看到可以进行create了。

6.jpg

点击create创建成功后,点击Discovery,选择时间为一年内,可以看到之前的数据:

7.jpg

并且访问9100地址也能加载出节点信息了:

8.png

至此,整个ELK环境就搭建起来了。

打赏一个煎饼果子!