|
|
|
|
公众号矩阵

一台Linux服务器最多能支撑多少个TCP连接?

在网络开发中,我发现有很多同学对一个基础问题始终是没有彻底搞明白。那就是一台服务器最大究竟能支持多少个网络连接?我想我有必要单独发一篇文章来好好说一下这个问题。

作者:张彦飞来源:开发内功修炼|2021-01-04 07:22

 

图片来自 Pexels

困惑很多人的并发问题

很多同学看到这个问题的第一反应是 65535。原因是:“听说端口号最多有 65535 个,那长连接就最多保持 65535 个了”。

是这样的吗?还有的人说:“应该受 TCP 连接里四元组的空间大小限制,算起来是 200 多万亿个!”

如果你对这个问题也是理解的不够彻底,那么今天讲个故事讲给你听!

一次关于服务器端并发的聊天

TCP 连接四元组是源 IP 地址、源端口、目的 IP 地址和目的端口。任意一个元素发生了改变,那么就代表的是一条完全不同的连接了。

拿我的 Nginx 举例,它的端口是固定使用 80。另外我的 IP 也是固定的,这样目的 IP 地址、目的端口都是固定的。剩下源 IP 地址、源端口是可变的。

所以理论上我的 Nginx 上最多可以建立 2 的 32 次方(ip 数)×2 的 16 次方(port 数)个连接。这是两百多万亿的一个大数字!

进程每打开一个文件(Linux 下一切皆文件,包括 Socket),都会消耗一定的内存资源。

如果有不怀好心的人启动一个进程来无限的创建和打开新的文件,会让服务器崩溃。

所以 Linux 系统出于安全角度的考虑,在多个位置都限制了可打开的文件描述符的数量,包括系统级、用户级、进程级。

这三个限制的含义和修改方式如下:

  1. 系统级:当前系统可打开的最大数量,通过 fs.file-max 参数可修改。
  2. 用户级:指定用户可打开的最大数量,修改 /etc/security/limits.conf。
  3. 进程级:单个进程可打开的最大数量,通过 fs.nr_open 参数可修改。

我的接收缓存区大小是可以配置的,通过 sysctl 命令就可以查看:

  1. $ sysctl -a | grep rmem 
  2. net.ipv4.tcp_rmem = 4096 87380 8388608 
  3. net.core.rmem_default = 212992 
  4. net.core.rmem_max = 8388608 

其中在 tcp_rmem 中的第一个值是为你们的 TCP 连接所需分配的最少字节数。该值默认是 4K,最大的话 8MB 之多。

也就是说你们有数据发送的时候我需要至少为对应的 Socket 再分配 4K 内存,甚至可能更大。

TCP 分配发送缓存区的大小受参数 net.ipv4.tcp_wmem 配置影响:

  1. $ sysctl -a | grep wmem 
  2. net.ipv4.tcp_wmem = 4096 65536 8388608 
  3. net.core.wmem_default = 212992 
  4. net.core.wmem_max = 8388608 

在 net.ipv4.tcp_wmem 中的第一个值是发送缓存区的最小值,默认也是 4K。当然了如果数据很大的话,该缓存区实际分配的也会比默认值大。

服务端百万连接达成记

准备啥呢,还记得前面说过 Linux 对最大文件对象数量有限制,所以要想完成这个实验,得在用户级、系统级、进程级等位置把这个上限加大。

我们实验目的是 100W,这里都设置成 110W,这个很重要!因为得保证做实验的时候其它基础命令例如 ps,vi 等是可用的。

活动连接数量确实达到了 100W:

  1. $ ss -n | grep ESTAB | wc -l   
  2. 1000024 

当前机器内存总共是 3.9GB,其中内核 Slab 占用了 3.2GB 之多。MemFree 和 Buffers 加起来也只剩下 100 多 MB 了:

  1. $ cat /proc/meminfo 
  2. MemTotal:        3922956 kB 
  3. MemFree:           96652 kB 
  4. MemAvailable:       6448 kB 
  5. Buffers:           44396 kB 
  6. ...... 
  7. Slab:          3241244KB kB 

通过 slabtop 命令可以查看到 densty、flip、sock_inode_cache、TCP 四个内核对象都分别有 100W个:

结语

互联网后端的业务特点之一就是高并发,但是一台服务器最大究竟能支持多少个 TCP 连接,这个问题似乎却又在困惑着很多同学。希望今天过后,你能够将这个问题踩在脚下摩擦!

作者:张彦飞

编辑:陶家龙

出处:转载自公众号开发内功修炼(ID:kfngxl)

【编辑推荐】

  1. 服务器GHOST之后蓝屏成功P2V案例
  2. linux运维实战案例初级课程
  3. Linux命令-操作大全视频课程(七日成蝶)
  4. Linux平台MySQL安装配置与管理入门_MySQL数据库基础与项目实战03
  5. 可自我传播的新蠕虫会把Windows、Linux服务器变成门罗币矿机
【责任编辑:武晓燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

数据湖与数据仓库的分析实践攻略

数据湖与数据仓库的分析实践攻略

助力现代化数据管理:数据湖与数据仓库的分析实践攻略
共3章 | 创世达人

1人订阅学习

云原生架构实践

云原生架构实践

新技术引领移动互联网进入急速赛道
共3章 | KaliArch

30人订阅学习

数据中心和VPDN网络建设案例

数据中心和VPDN网络建设案例

漫画+案例
共20章 | 捷哥CCIE

207人订阅学习

视频课程+更多

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微