本文转载自微信公众号「新钛云服」，作者祝祥 。转载本文请联系新钛云服公众号。
本文讨论了在Graylog2系统中收集Nginx日志的可能性，以及如何在Grafana中进行展示与分析。
本文的所有的操作都在Debian 9.5 OS上完成配置
Nginx版本：Nginx / 1.15.7
在Debian上安装Graylog2中介绍了安装Graylog2
Graylog2是一个开源系统，用于集中收集，存储和分析服务器上保存的日志。它可以当做 syslog 服务器使，支持 TCP、UDP 协议。另外也支持以 TCP/UDP 方式接收 GELF 格式的日志，这个格式很简单，就是一个 JSON 字符串。Graylog2 把 GELF 格式的日志存入 ElasticSearch 中，另外往 MongoDB 里写入一些统计信息，伊提供了一个 Ruby 写的 Web 应用，可以搜索日志并可视化的显示搜索结果的时间分布。
Graylog2集群有三部分组成，Graylog-server(日志收集、清理、分析)、Mongo DB(用于graylog集群共享配置信息)、ElasticSearch(存储日志)。
Graylog2.4.X只支持ElasticSearch 5，从Graylog2.5.2开始支持ElasticSearch 6，目前的版本为3版本。
基础软件包安装
- apt install apt-transport-https openjdk-8-jre-headless uuid-runtime pwgen
安装MongoDB DBMS
- apt-get install mongodb-server
安装Elasticsearch
- wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | apt-key add -
- echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | tee -a /etc/apt/sources.list.d/elastic-5.x.list
- apt update && apt install elasticsearch
这样就完成了Gaylog正常工作所需的所有软件包。
配置elasticsearch
要配置它，请打开文件：
- nano /etc/elasticsearch/elasticsearch.yml
在描述的末尾添加以下行：
- cluster.name: graylog
我们配置自动启动并运行elasticsearch：
- systemctl daemon-reload
- systemctl enable elasticsearch.service
- systemctl start elasticsearch.service
安装Graylog
- wget https://packages.graylog2.org/repo/packages/graylog-2.4-repository_latest.deb
- dpkg -i graylog-2.4-repository_latest.deb
- apt update && apt install graylog-server
Graylog服务器设置：
为了使服务器正常工作，您需要创建两个密钥。一种是使用加密，另一种是用于首次登录Web界面的admin用户的密码
要创建加密密钥，请运行以下命令：
- pwgen -N 1 -s 96
将生成的密钥复制到记事本，并在编辑配置文件时使用它。
要为管理员用户创建密码，请运行以下命令：
- echo -n password | sha256sum
我们还将把生成的密钥复制到记事本中，并在编辑配置文件时使用它。
编辑server.conf
- nano /etc/graylog/server/server.conf
我们对以下几行感兴趣：
password_secret = secret，我们输入从上面获得的加密密钥
root_password_sha2 = password，我们输入管理员用户获取的密钥
- rest_listen_uri = http://0.0.0.0:9000/api/
- rest_transport_uri = http://IP-Address:9000/api/
- web_listen_uri = http://0.0.0.0:9000/
设置自动运行并启动Graylog：
- systemctl daemon-reload
- systemctl enable graylog-server.service
- systemctl start graylog-server.service
完成所有要点并打开浏览器后，我们在地址栏中IP-Address:port的端口中输入端口9000
Nginx日志配置以发送到Graylog
Nginx会将登录名发送给Gryalog本身。
- nano /etc/nginx/nginx.conf
可以将先前的位置(/var/log/nginx/)和日志的配置进行备份。
在该部分中，http 添加以下内容：
- log_format graylog2_format '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for" $
- access_log syslog:server=Graylog IP-Address:11004 graylog2_format;
- error_log syslog:server=Graylog IP-Address:11005;
重新启动Nginx：
- service niginx restart
准备Graylog以接收来自Nginx的日志
为此，您需要从Graylog存储中安装加载项，可从(https://marketplace.graylog.org/addons/6bbc0407-0fc1-4ee7-be6d-4ea08ff1b482)下载。
接下来，从菜单中安装下载的加载项选择Systems - Content packs，选择Import content pack位置并下载文件JSON。之后，在同一位置的中Content packs，将出现一个新项目Nginx Web Server，必须选择并单击它Apply content。
接下来，从菜单中选择Systems - Inputs，确保连接正常，然后单击Show received messages显示传入消息的位置。为了方便跟踪传入消息，窗口顶部有一个自动更新按钮。
Elasticsearch设置
在配置文件的末尾，我们将为查询条件的数量指示一个新值，因为标准的1000个条件可能还不够：
- nano /etc/elasticsearch/elasticsearch.yml
- indices.query.bool.max_clause_count: 10240
重新启动Elasticsearch
- service elasticsearch restart
如果Grafana和Graylog在不同的服务器上怎么办
1.更改从其他设备访问的设置。
- nano /etc/elasticsearch/elasticsearch.yml
在该部分中Network指定：
- network.host: IP-Address server Elasticsearch\Graylog
- http.port: 9200
2.为了成功运行Graylog，必须在配置中输入上述地址和对Elasticsearch的访问端口：
- nano /etc/graylog/server/server.conf
- elasticsearch_hosts = http://IP-Address:9200
重新启动Graylog和Elasticsearch：
- service elasticsearch restart
- service graylog-server restart
设置Grafana
配置对Elasticsearch的访问权限：
为此，请打开Grafana Web界面，选择Configuration - Data Sources并单击Add data source。
在字段中输入连接的名称Name;
在字段中，Type选择Elasticsearch;
在字段中URL输入服务器地址Elasticsearch;
在Time field name问题：timestamp;
在字段中，Version选择5.x;
点击Save & Test。如果一切正确，那么应该没有错误。
在Grafana中创建一个仪表板
完成的仪表板可在Grafana官方网站上找到，链接为：(https://grafana.com/dashboards/8486)。
在添加之前，请为Grafana安装必要的附加组件：
- grafana-cli plugins install grafana-piechart-panel
重新启动Grafana服务器：
- service grafana-server restart
将json面板文件添加到Grafana
选择并导入下载的文件，并指定：Dashboards ``— Manage, нажимаем Import — Upload .json File
在字段中Name输入所需的面板名称;
在该字段中， Graylog Elasticsearch指示上面创建的与Elasticsearch数据库的连接。
然后按一下按钮Import。
当调用Nginx时，图形将开始展示：
