使用Docker搭建ElasticSearch+Logstash+Kibana环境


最近在做 Spring Cloud 相关系列框架的搭建,在做到整合微服务跟踪-Sleuth后,项目添加了Sleuth后已经能够正常的输出跟踪信息日志,接下来要对整个日志进行分析处理,这里选取使用配合ELK来做,首先需要搭建整个ELK环境。

ELK介绍

ELK (官网)其实是三个不同的内容,一般配合一起使用。分别是:

  • ElasticSearch
  • Logstash
  • Kibana

具体的介绍可以看官网的每个产品介绍

Windows 环境搭建

可以参考:https://blog.csdn.net/pilihaotian/article/details/52452010 ,基本上比较详细了,但是也可以看出windows安装比较繁琐,而且还会耗费机器本身资源,本文介绍使用Docker安装搭建。

Docker 环境搭建

ELK对应的有很多版本,本文均使用最新版本

安装 elasticsearch

拉取镜像

    docker pull elasticsearch

启动容器

docker run -d -p 9200:9200 --name leon_elasticsearch elasticsearch

此时访问地址:http://192.168.9.151:9200/,看到如下效果说明启动成功:
1.jpg

安装插件 elasticsearch-head

一般情况下,安装插件只需要执行命令:

elasticsearch-plugin install mobz/elasticsearch-head

那么我们现在进入到容器中对应的目录:/usr/share/elasticsearch/bin/,然后执行上述命令,但是发现报错:

查阅相关文档得知以下信息:

– for Elasticsearch 5.x:
site plugins are not supported. Run elasticsearch-head as a standalone server

也就是说5.X以上的版本,需要单独启动 elasticsearch-head 服务。
那么单独启动运行插件容器:

docker run -d -p 9100:9100 --name leon_elasticsearch-head mobz/elasticsearch-head:5

注意后面跟的版本5,一定要对应自己的版本。

容器启动后,访问地址:http://192.168.9.151:9100/

2.jpg

此时代表插件服务已经启动,但是点击连接,发现无法连接elasticsearch服务,需要修改配置文件,文件地址为容器中的:/usr/share/elasticsearch/config/elasticsearch.yml

我们进入容器,发现无法使用VI命令修改文件,这个时候可以安装VI工具然后修改文件,或者使用另外一种粗暴的方法,在外面修改然后覆盖文件。这里因为安装VI总是出错,所以使用第二种方式。

首先将容器中的配置文件导出来:

docker cp leon_elasticsearch:/usr/share/elasticsearch/config/elasticsearch.yml /home/px2/elasticsearch.yml

在文件中添加以下内容:

http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization

然后在替换容器中的文件:

docker cp /home/px2/elasticsearch.yml leon_elasticsearch:/usr/share/elasticsearch/config/elasticsearch.yml

重启容器,然后重新访问:http://localhost:9100/ 就可以连接上了(此时还没有数据)

3.jpg

注意:如果还是不能连接,可以访问地址来连接:http://localhost:9100/?auth_user=elastic&auth_password=changeme

安装logstash

这里有个比较坑的问题,使用Docker官方Hub里的镜像 docker pull logstash 启动的容器总是会自动停掉,无法运行,后来选择使用官网中的镜像地址:

docker run --name leon_logstash docker.elastic.co/logstash/logstash:6.2.4

修改配置文件,进入容器:

docker exec -it leon_logstash /bin/bash

进入目录cd config
打开并修改配置文件 vi logstash.yml:

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.url: http://192.168.9.151:9200
xpack.monitoring.elasticsearch.username: elastic
xpack.monitoring.elasticsearch.password: changeme

安装kibana

拉取镜像

docker pull kibana

启动容器

docker run --name leon_kibana -p 5601:5601 -d -e ELASTICSEARCH_URL=http://192.168.9.151:9200 kibana

配置

访问地址:http://192.168.9.151:5601 ,看到如下效果

4.jpg

此时报错中间红色部分,无法进行创建,找到资料得知:

5.jpg

看官网的解释说这是因为初次设置的时候logstash没有加载到数据导致的。所以先要保证logstash能够加载到数据。

配置数据

进入到容器中:

docker exec -it leon_logstash /bin/bash

然后进入如下目录:
cd pipeline/
打开配置文件:vi logstash.conf

修改内容如下:

input {
        file {
            codec=> json
                path => "/usr/local/*.json"
        }
}
filter {
  #定义数据的格式
  grok {
    match => { "message" => "%{DATA:timestamp}\|%{IP:serverIp}\|%{IP:clientIp}\|%{DATA:logSource}\|%{DATA:userId}\|%{DATA:reqUrl}\|%{DATA:reqUri}\|%{DATA:refer}\|%{DATA:device}\|%{DATA:textDuring}\|%{DATA:duringTime:int}\|\|"}
  }
}
output {
   elasticsearch{
     hosts=> "http://192.168.9.151:9200"
   }
} 

其中指定了输出地址:elasticsearch的地址,而且还指定了内容输入地址:/usr/local/*.json,需要在usr/local下有json格式的数据,接下来将项目生成的json格式的日志文件上传到该目录。


docker cp /home/px2/logs/shop-user-consumer.json leon_logstash:/usr/local/shop-user-consumer.json
docker cp /home/px2/logs/shop-user-provider.json leon_logstash:/usr/local/shop-user-provider.json

然后重启logstash容器,在重新访问页面,可以看到可以进行create了。

6.jpg

点击create创建成功后,点击Discovery,选择时间为一年内,可以看到之前的数据:

7.jpg

并且访问9100地址也能加载出节点信息了:

8.png

至此,整个ELK环境就搭建起来了。


文章作者:
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 !
 上一篇
在Spring Cloud中使用Swagger自动构建API接口文档 在Spring Cloud中使用Swagger自动构建API接口文档
简介Swagger 是一个可以用来构建API服务文档的工具,并且API文档可以和代码服务实时更新,保持一致,提供了UI界面可以直接查看文档。同时还可以进行功能测试。 在Spring Boot项目中集成使用1.新建项目并添加相关依赖 Spri
2018-09-25
下一篇 
Doker网络设置相关 Doker网络设置相关
查看容器的IP地址查看单个容器的详细完整信息docker inspect --format '{{ .NetworkSettings.IPAddress }}' <container-ID> 或者 docker inspect &l
2018-03-20
  目录