|
|
51CTO旗下网站
|
|
移动端

Graylog2:从Nginx收集日志并在Grafana中展示与分析

本文讨论了在Graylog2系统中收集Nginx日志的可能性,以及如何在Grafana中进行展示与分析。

作者:祝祥 来源:新钛云服|2020-09-02 08:03

 

本文转载自微信公众号「新钛云服」,作者祝祥 。转载本文请联系新钛云服公众号。

本文讨论了在Graylog2系统中收集Nginx日志的可能性,以及如何在Grafana中进行展示与分析。

本文的所有的操作都在Debian 9.5 OS上完成配置

Nginx版本:Nginx / 1.15.7

在Debian上安装Graylog2中介绍了安装Graylog2

Graylog2是一个开源系统,用于集中收集,存储和分析服务器上保存的日志。它可以当做 syslog 服务器使,支持 TCP、UDP 协议。另外也支持以 TCP/UDP 方式接收 GELF 格式的日志,这个格式很简单,就是一个 JSON 字符串。Graylog2 把 GELF 格式的日志存入 ElasticSearch 中,另外往 MongoDB 里写入一些统计信息,伊提供了一个 Ruby 写的 Web 应用,可以搜索日志并可视化的显示搜索结果的时间分布。

Graylog2集群有三部分组成,Graylog-server(日志收集、清理、分析)、Mongo DB(用于graylog集群共享配置信息)、ElasticSearch(存储日志)。

Graylog2.4.X只支持ElasticSearch 5,从Graylog2.5.2开始支持ElasticSearch 6,目前的版本为3版本。

基础软件包安装

  1. apt install apt-transport-https openjdk-8-jre-headless uuid-runtime pwgen 

安装MongoDB DBMS

  1. apt-get install mongodb-server 

安装Elasticsearch

  1. wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | apt-key add - 
  2. echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | tee -a /etc/apt/sources.list.d/elastic-5.x.list 
  3. apt update && apt install elasticsearch 

这样就完成了Gaylog正常工作所需的所有软件包。

配置elasticsearch

要配置它,请打开文件:

  1. nano /etc/elasticsearch/elasticsearch.yml 

在描述的末尾添加以下行:

  1. cluster.name: graylog 

我们配置自动启动并运行elasticsearch:

  1. systemctl daemon-reload 
  2. systemctl enable elasticsearch.service 
  3. systemctl start elasticsearch.service 

安装Graylog

  1. wget https://packages.graylog2.org/repo/packages/graylog-2.4-repository_latest.deb 
  2. dpkg -i graylog-2.4-repository_latest.deb 
  3. apt update && apt install graylog-server 

Graylog服务器设置:

为了使服务器正常工作,您需要创建两个密钥。一种是使用加密,另一种是用于首次登录Web界面的admin用户的密码

要创建加密密钥,请运行以下命令:

  1. pwgen -N 1 -s 96 

将生成的密钥复制到记事本,并在编辑配置文件时使用它。

要为管理员用户创建密码,请运行以下命令:

  1. echo -n password | sha256sum 

我们还将把生成的密钥复制到记事本中,并在编辑配置文件时使用它。

编辑server.conf

  1. nano /etc/graylog/server/server.conf 

我们对以下几行感兴趣:

password_secret = secret,我们输入从上面获得的加密密钥

root_password_sha2 = password,我们输入管理员用户获取的密钥

  1. rest_listen_uri = http://0.0.0.0:9000/api/ 
  2. rest_transport_uri = http://IP-Address:9000/api/ 
  3. web_listen_uri = http://0.0.0.0:9000/ 

设置自动运行并启动Graylog:

  1. systemctl daemon-reload 
  2. systemctl enable graylog-server.service 
  3. systemctl start graylog-server.service 

完成所有要点并打开浏览器后,我们在地址栏中IP-Address:port的端口中输入端口9000

Nginx日志配置以发送到Graylog

Nginx会将登录名发送给Gryalog本身。

  1. nano /etc/nginx/nginx.conf 

可以将先前的位置(/var/log/nginx/)和日志的配置进行备份。

在该部分中,http 添加以下内容:

  1. log_format graylog2_format '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for" $ 
  2.  
  3. access_log syslog:server=Graylog IP-Address:11004 graylog2_format; 
  4.  
  5. error_log syslog:server=Graylog IP-Address:11005; 

重新启动Nginx:

  1. service niginx restart 

准备Graylog以接收来自Nginx的日志

为此,您需要从Graylog存储中安装加载项,可从(https://marketplace.graylog.org/addons/6bbc0407-0fc1-4ee7-be6d-4ea08ff1b482)下载。

接下来,从菜单中安装下载的加载项选择Systems - Content packs,选择Import content pack位置并下载文件JSON。之后,在同一位置的中Content packs,将出现一个新项目Nginx Web Server,必须选择并单击它Apply content。

接下来,从菜单中选择Systems - Inputs,确保连接正常,然后单击Show received messages显示传入消息的位置。为了方便跟踪传入消息,窗口顶部有一个自动更新按钮。

Elasticsearch设置

在配置文件的末尾,我们将为查询条件的数量指示一个新值,因为标准的1000个条件可能还不够:

  1. nano /etc/elasticsearch/elasticsearch.yml 
  2.  
  3. indices.query.bool.max_clause_count: 10240 

重新启动Elasticsearch

  1. service elasticsearch restart 

如果Grafana和Graylog在不同的服务器上怎么办

1.更改从其他设备访问的设置。

  1. nano /etc/elasticsearch/elasticsearch.yml 

在该部分中Network指定:

  1. network.host: IP-Address server Elasticsearch\Graylog 
  2.  
  3. http.port: 9200 

2.为了成功运行Graylog,必须在配置中输入上述地址和对Elasticsearch的访问端口:

  1. nano /etc/graylog/server/server.conf 
  2. elasticsearch_hosts = http://IP-Address:9200 

重新启动Graylog和Elasticsearch:

  1. service elasticsearch restart 
  2.  
  3. service graylog-server restart 

设置Grafana

配置对Elasticsearch的访问权限:

为此,请打开Grafana Web界面,选择Configuration - Data Sources并单击Add data source。

在字段中输入连接的名称Name;

在字段中,Type选择Elasticsearch;

在字段中URL输入服务器地址Elasticsearch;

在Time field name问题:timestamp;

在字段中,Version选择5.x;

点击Save & Test。如果一切正确,那么应该没有错误。

在Grafana中创建一个仪表板

完成的仪表板可在Grafana官方网站上找到,链接为:(https://grafana.com/dashboards/8486)。

在添加之前,请为Grafana安装必要的附加组件:

  1. grafana-cli plugins install grafana-piechart-panel 

重新启动Grafana服务器:

  1. service grafana-server restart 

将json面板文件添加到Grafana

选择并导入下载的文件,并指定:Dashboards ``— Manage, нажимаем Import — Upload .json File

在字段中Name输入所需的面板名称;

在该字段中, Graylog Elasticsearch指示上面创建的与Elasticsearch数据库的连接。

然后按一下按钮Import。

当调用Nginx时,图形将开始展示:

【责任编辑:武晓燕 TEL:(010)68476606】


点赞 0
分享:
大家都在看
猜你喜欢
24H热文
一周话题
本月获赞

订阅专栏+更多

数据中心和VPDN网络建设案例

数据中心和VPDN网络建设案例

漫画+案例
共20章 | 捷哥CCIE

154人订阅学习

搭建数据中心实验Lab

搭建数据中心实验Lab

实验平台Datacenter
共5章 | ITGO(老曾)

94人订阅学习

大数据安全运维实战

大数据安全运维实战

CDH+Ambari
共20章 | 大数据陈浩

91人订阅学习

视频课程+更多

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微