社区编辑申请
注册/登录
记一次利用GrayLog实现采集与备份云服务器Web访问日志的实现过程
服务器
AWS云服务器通过rsyslog服务采集本地的nginx日志,并发送上一步中到映射到公网的Syslog UDP端口上,也就是发送GrayLog。

一、业务场景及主要需求

如图所示:

  1. 采集AWS云服务器(Web服务器)的nginx访问日志,并进行日志分析。
  2. 由于AWS云Web服务器(Web服务器)上磁盘空间有限,nginx日志做了logrotate轮转,只保留了最近5天,但是又想做日志长久留存(不仅仅是安全要求),所以想通过同步或者备份的方式在内网的服务器上对nginx Web日志进行增量备份。

二、具体实现的思路

由于AWS云服务器在内网可以SSH访问(AWS云服务器安全组上已经将出口公网IP加入SSH端口的白名单)。

  1. 内网部署一台GrayLog服务器,将Graylog日志服务器的Syslog接收端口2514能过出口防火墙映射到公网。
  2. AWS云服务器通过rsyslog服务采集本地的nginx日志,并发送上一步中到映射到公网的Syslog UDP端口上,也就是发送GrayLog。
  3. 利用GrayLog服务器的磁盘空间,rsync+SSH+crontab的方式实现文件增量同步备份。

三、具体实现步骤

1、AWS云服务器配置rsyslog

说明:本文使用的115.58.180.214公网IP为虚构IP。

vi /etc/rsyslog.d/toGraylog.conf 
module(load="imfile" PollingInterval="1")
# Input for FILE1
#wildcard is allowed at file level only
input(
type="imfile"
tag="Nginxlog"
ruleset="filelog"
Facility="local0"
Severity="info"
PersistStateInterval="1"
reopenOnTruncate="on"
freshStartTail="on"
file="/var/log/nginx/access.log"
)
# Define a template for file events
template(name="GraylogFormatFilelog" type="string" string="%msg%\n")

#Replace the Target and Port values with your GrayLog IP address and port.
ruleset(name="filelog") {
action(
type="omfwd"
protocol="udp"
target="115.58.180.214"
port="2514"
template="GraylogFormatFilelog"
queue.type="LinkedList"
queue.filename="fileq1"
queue.saveonshutdown="on"
action.resumeRetryCount="-1"
) stop
}

重启rsyslog服务:

systemctl restart rsyslog

2、GrayLog上验证是否收到日志

效果如下:

可以对提取出来的access访问IP做GEOIP查询。

3、实现日志增量备份

先测试一下免密登录是否OK AWS服务器上生成密钥对。

ssh-keygen -t rsa -b 4096
cat id_rsa.pub >> /root/.ssh/authorized_keys

GrayLog服务器上验证使用私钥是否可以免密登录到AWS服务器。

ssh  -i /home/id_rsa root@115.58.180.214

接下来利用rsync+SSH+crontab实现备份。

vi /opt/aws_logs_backup.sh
#!/bin/bash
LOCK=/var/log/aws_logs_rsync_record.log
echo "备份日期:" >> ${LOCK} 2>&1
echo `date '+%Y-%m-%d_%T'` >> ${LOCK} 2>&1
echo "================= AWS logs Rsync starting===============================" >> ${LOCK} 2>&1
rsync --progress -avz -e "ssh -p 22 -i /home/id_rsa" root@115.58.180.214:/var/log/nginx/access.log* /opt/AWS_logs_backup/ >> ${LOCK} 2>&1
echo "================= AWS logs Rsync Finished===============================" >> ${LOCK} 2>&1

赋予脚本执行权限。

chmod 755 /opt/aws_logs_backup.sh
crontab -e
[root@graylog ~]# crontab -l
00 0,6,12,18,23 * * * /opt/aws_logs_backup.sh
sh /opt/aws_logs_backup.sh

尝试手动同步是否OK。

后续再观察增量同步备份是否OK。

rsync参考之前文章:部署CwRsyncServer实现Linux下文件同步到WindowsServer服务器。

责任编辑:姜华 来源: 今日头条
相关推荐

2022-06-14 23:34:10

Linux安全服务器

2022-06-27 17:46:53

PythonFlask

2022-05-23 07:48:10

zabbix监控CentOS7

2022-06-15 08:21:49

Linux运维工程师

2022-06-23 11:42:22

MySQL数据库

2022-06-28 08:40:16

LokiPromtail日志报警

2022-06-30 11:03:27

DDoS攻击WAF

2022-04-12 09:48:22

云计算安全云服务云安全

2022-06-28 12:35:21

DockerPython

2022-05-19 14:57:30

CSS代码工具

2022-06-30 10:56:18

字节云数据库存储

2022-05-17 08:39:05

VueViteTypeScript

2022-06-28 08:37:07

分布式服务器WebSocket

2022-06-21 14:22:08

云计算混合云人工智能

2022-05-06 20:18:36

2022-05-09 15:08:56

存储厂商NFV领域华为

2022-06-16 08:35:10

CSS属性前端

2022-06-27 17:58:30

Pulsar函数Serverless

2022-06-16 15:54:32

前端

2022-06-27 11:09:06

边缘计算

同话题下的热门内容

无服务器计算正在成为云原生的下一个发展方向鲲鹏DevKit助力轩辕AI科学计算平台DataLab原生开发,性能提升89%企业应该选择无服务器计算吗?浅析企业数据中心备份规划设计Istio实现熔断和限流的原理西门子携手NVIDIA打造工业元宇宙,以沉浸式体验实现制造业转型科技赋能绿色金融 数据中心成落地关键联想毕巍:以终为始 用场景驱动思维助力智慧城市减碳

编辑推荐

什么是中间件,常见中间件服务器有哪些?如何快速搭建一个阿里云服务器Windows和Ubuntu系统如何远程连接Linux服务器Python与PHP、Java等4大流行语言过招,谁更胜一筹?解决Nginx服务返回500状态码问题
我收藏的内容
点赞
收藏

51CTO技术栈公众号