|
|
|
|
移动端

Nginx限制单个IP的并发连接数/速度来减缓垃圾蜘蛛爬虫采集

可以使用Nginx限制单个IP的并发连接数能够减少一些采集程序或者DDOS的攻击。这点儿明月一直都没有意识到,今天闲来无事就研究了一下,感觉从原理上还是有一定作用的,今天就分享出来,算是自己的笔记,以方便以后部署运维的时候采用。

作者:明月学习笔记来源:ymanz|2018-01-03 10:43

技术沙龙 | 6月30日与多位专家探讨技术高速发展下如何应对运维新挑战!


不知道大家碰没碰到过被一些垃圾蜘蛛爬虫采集造成服务器飙升的情况,反正明月是经常性的碰到 YandexBot 、 SMTBot 等等这类不需要的网络蜘蛛爬虫的骚扰,有些甚至一天的采集量达到接近1G的流量,虽然可以通过使用Fail2ban禁止垃圾采集爬虫,保护Nginx服务器 一文的办法来屏蔽,但是这类爬虫还是会不断变更名字继续出现。

其实,可以使用Nginx限制单个IP的并发连接数能够减少一些采集程序或者DDOS的攻击。这点儿明月一直都没有意识到,今天闲来无事就研究了一下,感觉从原理上还是有一定作用的,今天就分享出来,算是自己的笔记,以方便以后部署运维的时候采用。

下面以 LNMP 一键安装包为例的,其他LNMP包自行参考其文档吧。

在LNMP的Nginx配置中已经添加了部分代码,但是是注释掉的,可以编辑 /usr/local/nginx/conf/nginx.conf 文件

注明下面的设置需要在1.1.8以上版本的Nginx的设置才有效的,至于老版本的我就不在多说了,毕竟还用老版本的真心是不多见了!

查找:

  1. #limit_conn_zone $binary_remote_addr zone=perip:10m; 

将前面的#去掉,没这一行的,话加上

  1. limit_conn_zone $binary_remote_addr zone=perip:10m; 

默认情况下,如下图所示位置:

再在要设置限制连接数的虚拟主机配置里的server段里添加上

  1. limit_conn perip 10; 

10就是单个IP的最大并发连接数。

  1. limit_rate 100k;  
  2. limit_rate 为限速为 100KB/秒 。 

如下图实例截图:

限制每个连接速度为100K,此限制是针对单个线程,比如,我用IE下载是100K,当用迅雷时它会占用2个线程,所以迅雷下载速度为200K,如果单个IP的并发数设置为10,则多线程下载的话速度可以达到100K×10。

最后运行 /usr/local/nginx/sbin/nginx -t 测试配置是否有错误,如没有错误执行:

  1. /usr/local/nginx/sbin/nginx -s reload 

重载配置使其生效。

至此,就完成了 Nginx 限制单个 IP 的 并发连接数 / 速度 来减缓垃圾蜘蛛爬虫采集造成的服务器负载压力了,当然效果还是要看实际数据采集情况的,明月会观察一阵子的,感觉原理上应该是有效的!对单个IP有个基本的限制还是比较靠谱的,毕竟网上太多不受规矩的爬虫了。

【编辑推荐】

  1. Nginx的反向代理与负载均衡
  2. 五分钟系列:Python 处理Nginx日志
  3. 从nginx日志原始二进制数据还原文件
  4. WEB服务器如何选择 Apache or Nginx?
  5. Nginx、FastCGI、PHP-fpm关系梳理
【责任编辑:武晓燕 TEL:(010)68476606】


点赞 0
分享:
大家都在看
猜你喜欢
24H热文
一周话题
本月最赞

视频课程+更多

热门职位+更多

读 书 +更多

Tomcat与Java Web开发技术详解

本书详细介绍了在最新Tomcat 5版本上开发Java Web应用的各种技术。主要内容包括:Tomcat和Java Web开发的基础知识,Java Web开发的高级技术...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊