7000 字 | 20 图 | 一文带你搭建一套 ELK Stack 日志平台（二）

三、部署 logstash 日志过滤、转换工具

3.1 安装 Java JDK

$ sudo apt install openjdk-8-jdk

修改 /etc/profile 文件

sudo vim /etc/profile

添加如下的内容到你的 .profile 文件中：

# JAVA
JAVA_HOME="/usr/lib/jdk/jdk-12"
PATH="$PATH:$JAVA_HOME/bin"

再在命令行中打入如下的命令：

source /etc/profile

查看 java 是否配置成功

java -version

3.2 安装 logstash

下载 logstash 安装包

curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-7.7.1.tar.gz

解压安装

tar -xzvf logstash-7.7.1.tar.gz

要测试 Logstash 安装，请运行最基本的 Logstash 管道。例如：

cd logstash-7.7.1
bin/logstash -e 'input { stdin { } } output { stdout {} }'

等 Logstash 完成启动后，我们在 stdin 里输入以下文字，我们可以看到如下的输出：当我们打入一行字符然后回车，那么我们马上可以在 stdout 上看到输出的信息。如果我们能看到这个输出，说明我们的 Logstash 的安装是成功的。

 

我们进入到 Logstash 安装目录，并修改 config/logstash.yml 文件。我们把 config.reload.automatic 设置为 true。另外一种运行 Logstash 的方式，也是一种最为常见的运行方式，运行时指定 logstash 配置文件。

 

3.3 配置 logstash

Logstash 配置文件有两个必需元素，输入（inputs）和输出（ouputs），以及一个可选元素 filters。输入插件配置来源数据，过滤器插件在你指定时修改数据，输出插件将数据写入目标。我们首先需要创建一个配置文件，配置内容如下图所示：创建 kibana 配置文件 weblog.conf

mkdir -p /logstash-7.7.1/streamconf
vim /logstash-7.7.1/streamconf/weblog.conf

配置内容如下：

input {
  tcp {
    port => 9900
  }
}
 
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
 
  mutate {
    convert => {
      "bytes" => "integer"
    }
  }
 
  geoip {
    source => "clientip"
  }
 
  useragent {
    source => "agent"
    target => "useragent"
  }
 
  date {
    match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
  }
}
 
output {
  stdout { }
 
  elasticsearch {
    hosts => ["localhost:9200"]
  }
}

在上面，我们同时保留两个输出：stdout 及 elasticsearch。事实上，我们可以定义很多个的输出。stdout 输出对于我们初期的调试是非常有帮助的。等我们完善了所有的调试，我们可以把上面的 stdout 输出关掉。

 

等更新完这个配置文件后，我们在另外一个 console 中发送第一个 log：

head -n 1 weblog-sample.log | nc localhost 9900

这个命令的意思：我们使用 nc 应用读取第一行数据，然后发送到 TCP 端口号 9900，并查看 console 的输出。

 

这里的 weblog-sample.log 为样例数据，内容如下，把它放到本地作为日志文件。

14.49.42.25 - - [12/May/2019:01:24:44 +0000] "GET /articles/ppp-over-ssh/ HTTP/1.1" 200 18586 "-" "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2b1) Gecko/20091014 Firefox/3.6b1 GTB5"

logstash 控制台打印出了 weblog-samle.log 中的内容：这一次，我们打开 Kibana，执行命令，成功看到 es 中的这条记录。

GET logstash/_search

 
四、部署 Filebeat 日志收集工具

4.1 安装 Filebeat

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.7.1-linux-x86_64.tar.gz
tar xzvf filebeat-7.7.1-linux-x86_64.tar.gz

请注意：由于 ELK 迭代比较快，我们可以把上面的版本 7.7.1 替换成我们需要的版本即可。我们先不要运行 Filebeat。

 

4.2 配置 Filebeat

我们在 Filebeat 的安装目录下，可以创建一个这样的 filebeat_apache.yml 文件，它的内容如下，首先先让 filebeat 直接将日志文件导入到 elasticsearch，来确认 filebeat 是否正常工作

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /home/vagrant/logs/*.log

output.elasticsearch:
  hosts: ["192.168.56.10:9200"]

paths 对应你的日志文件夹路径，我配置的是这个：/home/vagrant/logs/*.log，之前配置成 /home/vagrant/logs 不能正常收集。另外这里可以放入多个日志路径。

 

4.3 测试 Filebeat

在使用时，你先要启动 Logstash，然后再启动 Filebeat。

bin/logstash -f weblog.conf

然后，再运行 Filebeat， -c 表示运行指定的配置文件，这里是 filebeat_apache.yml。

./filebeat -e -c filebeat_apache.yml

运行结果如下所示，一定要确认下控制台中是否打印了加载和监控了我们指定的日志。如下图所示，有三个日志文件被监控到了：error.log、info.log、debug.log我们可以通过这个命令查看 filebeat 的日志是否导入成功了：

curl http://localhost:9200/_cat/indices?v

这个命令会查询 Elasticsearch 中所有的索引，如下图所示，filebeat-7.7.1-* 索引创建成功了。因为我没有配置索引的名字，所以这个索引的名字是默认的，。

 创建查询的索引

 

在 kibana 中搜索日志，可以看到导入的 error 的日志了。不过我们先得在 kibana 中创建 filebeat 的索引（点击 create index pattern 按钮，然后输入 filebeat 关键字，添加这个索引），然后才能在 kibana 的 Discover 控制台查询日志。

搜索日志

4.4 Filebeat + Logstash

接下来我们配置 filebeat 收集日志后，输出到 logstash，然后由 logstash 转换数据后输出到 elasticsearch。

filebeat.inputs:

- type: log
  enabled: true
  paths:
    - /home/vagrant/logs/*.log

output.logstash:
  hosts: ["localhost:9900"]

修改 logstash 配置文件

vim /logstash-7.7.1/streamconf/weblog.conf

配置了 input 为 beats，修改了 useragent

input {  
  beats {
    port => "9900"
  }
}
 
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
 
  mutate {
    convert => {
      "bytes" => "integer"
    }
  }
 
  geoip {
    source => "clientip"
  }
 
  useragent {
    source => "user_agent"
    target => "useragent"
  }
 
  date {
    match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
  }
}
 
output {
  stdout {
    codec => dots {}
  }
 
  elasticsearch {
    hosts=>["192.168.56.10:9200"]
    index => "apache_elastic_example"
  }
}

然后重新启动 logstash 和 filebeat。有个问题，这次启动 filebeat 的时候，只监测到了一个 info.log 文件，而 error.log 和 debug.log 没有监测到，导致只有 info.log 导入到了 Elasticsearch 中。

 filebeat 只监测到了 info.log 文件

logstash 输出结果如下，会有格式化后的日志：我们在 Kibana dev tools 中可以看到索引 apache_elastic_example，说明索引创建成功，日志也导入到了 elasticsearch 中。另外注意下 logstash 中的 grok 过滤器，指定的 message 的格式需要和自己的日志的格式相匹配，这样才能将我们的日志内容正确映射到 message 字段上。

 

例如我的 logback 的配置信息如下：

 logback 配置

而我的 logstash 配置如下，和 logback 的 pettern 是一致的。

grok {
    match => { "message" => "%d{yyyy-MM-dd HH:mm:ss} [%thread] %-5level %logger -%msg%n" }
  }

 

然后我们在 es 中就能看到日志文件中的信息了。如下图所示：至此，Elasticsearch + Logstash + Kibana + Filebeat 部署成功，可以愉快地查询日志了~

 

后续升级方案：

 

 •  加上 Kafka
 •  加上 Grafana 监控
 •  链路追踪

 

五、遇到的问题和解决方案

5.1 拉取 kibana 镜像失败

failed to register layer: Error processing tar file(exit status 2): fatal error: runtime: out of memory

 

原因是 inodes 资源耗尽 ， 清理一下即可

df -i
sudo find . -xdev -type f | cut -d "/" -f 2 | sort | uniq -c | sort -n

curl -s https://raw.githubusercontent.com/ZZROTDesign/docker-clean/v2.0.4/docker-clean |
sudo tee /usr/local/bin/docker-clean > /dev/null && \
sudo chmod +x /usr/local/bin/docker-clean
docker-clean

5.2 拉取 kibana 镜像失败

docker pull runtime: out of memory

 

增加虚拟机内存大小

 

5.3 Kibana 无法启动

"License information could not be obtained from Elasticsearch due to Error: No Living connections error"}

 

看下配置的 IP 地址是不是容器的 IP。