服务器又被黑了,可咋办

服务器 服务器产品
• 对于管理端口,应该修改默认端口,设置访问白名单,避免被扫描和爆破。

✍ 道路千万条,安全第一条。操作不规范,运维两行泪。

发生

正在为公司呕心沥血之际,收到好友消息:说服务器是不是中招了?

图片图片

随即叫他看看能不能找到CPU使用率高的进程,但他使用top命令,未发现异常进程。

图片图片

使用htop,也一样未发现任何异常进程。

图片图片

并且所有节点的CPU都处于高负荷状态。

图片图片

根据我的经验,被黑无疑了。

怎么办呢?

  • 断网
  • 改密码

排查

作为资深老油条(Server Reinstall Enginner),对于这种安全问题,第一反应就是重装(没有什么是重装解决不了的,如果有,那就再装一次),因为病毒大概率是找不全,杀不干净,很容易对外留尾巴。

不过,咱还是要稍微专业一点,拿出病毒排查秘笈宝典,至少要找到一点蛛丝马迹才行,那我们就开始吧。

上面不论是通过top还是htop命令都没有发现具体占用CPU较高的进程,那么进程肯定是隐藏了。

对于隐藏进程,第一个想到的就是/etc/ld.so.preload文件,该文件是作用是让程序在运行之前,优先加载某些动态的链接库,部分木马正是利用此文件的功能,修改了该文件,在里面添加恶意so文件,从而达到了隐藏挖矿进程的目的。这也是为什么服务器CPU使用率很高,但是看不到占用CPU高的进程的原因。

默认情况下,该文件应该是空的,如果里面有内容,那大概率是木马植入的,我们需要先找到文件里的so文件并将其删除掉,然后再清空该文件。

通过排查,发现/etc/ld.so.preload文件确实有内容(这里忘记截图了),就按照上面的步骤操作一遍。

讲道理,上面操作后再使用top或者htop命令就能看到CPU占用高的进程了。

除此之外,还可以使用unhide命令来查看隐藏进程。使用yum install unhide安装命令,然后使用unhide proc即可发现隐藏进程。

图片图片

秉着头痛医脚的理念,发现问题,就要解决问题,虽然心里知道使用kill -9 PID大概率解决不了问题,但是忍不住想尝试一下。果不其然,杀了进程又起来另外的进程了。

图片图片

很明显,这是有其他守护进程的。所以使用systemctl status PID查看一下具体的进程服务。

图片图片

通过图中的箭头所指来看,就不是正常的服务。查看启动的二进制文件,发现也是才安装不久。

图片图片

心中窃喜,果然皇天不负有心人。然后准备尝试一番,看看CPU会不会降下来。

  • systemctl disable <SERVER>
  • systemctl stop <SERVER>
  • mv /etc/systemd/system/audit-piped.service ~/audit-piped.service.bak
  • mv /user/bin/udeb ~/udeb.bak
  • kill -9 PID

处理之后CPU果然下来了,而且隐藏进行也没有再起来。

图片图片

看起来是解决了该台服务器的问题了。

不过,事情还没完,我们需要把服务器再检查一遍,尽可能的找到一些尾巴。

  • 检查计划任务
  • 检查开机启动文件
  • 检查开机启动服务
  • 检查环境变量文件
  • 检查二进制命令文件
  • 检查内核配置文件
  • 检查密钥登录文件
  • 检查账户信息
  • 检查DNS配置文件
  • 检查临时目录文件

另外,还可以借助一些工具,比如clamav,来检查是否篡改或者植入了二进制命令。

集群中的其他服务器也按上面的流程检查了一遍,发现都是一样的服务、一样的二进制、一样的计划任务。处理过后,服务器节点的CPU都降下来了。

不过,这些服务器都是纯内网服务器,木马是怎么植入进来的呢?

通过朋友的描述,为了便于办公,有一台VPN服务器,是自建的openvpn,对外暴露了公网,且把SSH也暴露了出去,而且万万没想到的是密码非常简单:Aa@123456。这种密码跟给情人留门没什么两样。而且中招的那些服务器的密码和这台服务器是一样的,这不仅留了大门,还把其他房间的钥匙放在桌上。

登录到那台vpn服务器一看,果然中招了。

图片图片

而且服务和进程都不一样。

图片图片

并且bash都被修改了。

图片图片

所有定时任务文件中,都有对应的定时任务。

图片图片

而且,还有另外一个高权限的账户。

图片图片

这台服务器,不准备修了,直接重装吧。

复盘

这其实是一件入侵成本很低的安全事件:

  • 对外暴露的SSH服务,未做白名单限制
  • 对外暴露的服务器的密码简单
  • 内网服务器的密码简单,且不同服务器使用的相同的简单密码

正常情况下,对外暴露的除了提供服务能力的端口都应该限制白名单,并且服务器本身的密码不应该简单随意。

  • 对于管理端口,应该修改默认端口,设置访问白名单,避免被扫描和爆破。
  • 除非业务端口(例如80、443),其他无关端口无特殊情况不放行。
  • 服务器和应用程序的密码尽量复杂,不同服务器和应用程序密码不应相同。
  • 每台新的服务器购买或者创建之后,应该做一些基础的安全加固(按照等保检查的要求加固)。
  • DMZ区和业务区应该做网络隔离限制,只允许访问特定的端口。
  • 做好监控,及时发现问题。
  • 有钱的情况下,上一些安全防护软件,不要裸奔。
责任编辑:武晓燕 来源: 运维开发故事
相关推荐

2021-05-26 11:30:34

戴尔

2020-04-26 08:00:00

黑客网络攻击恶意软件

2009-09-17 12:28:50

apache.org黑客milw0rm

2021-04-27 19:23:47

服务器工具redis

2010-06-12 21:22:23

2009-08-22 14:17:28

2018-09-26 08:16:25

2020-04-28 10:53:02

企业安全建设资产管理漏洞

2013-11-08 17:10:10

2020-07-30 12:33:36

恶意软件Emotet网络攻击

2017-07-20 13:49:28

2010-07-15 10:04:46

2014-01-22 09:42:44

2009-12-15 17:50:28

2022-07-29 12:06:26

恶意软件网络攻击

2013-11-12 10:52:24

2009-10-28 11:09:59

2012-09-28 11:14:20

2011-03-22 13:50:53

2009-10-09 10:46:17

点赞
收藏

51CTO技术栈公众号