360 spider 及 360WS yunjiance Weak Password Scan 把客户的站搞死了 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
工单节点使用指南
请用平和的语言准确描述你所遇到的问题
厂商的技术支持和你一样也是有喜怒哀乐的普通人类,尊重是相互的
如果是关于 V2EX 本身的问题反馈,请使用 反馈 节点
chinvo
V2EX    全球工单系统

360 spider 及 360WS yunjiance Weak Password Scan 把客户的站搞死了

  •  
  •   chinvo 2019-01-21 21:25:11 +08:00 5304 次点击
    这是一个创建于 2458 天前的主题,其中的信息可能已经有所发展或是发生改变。
    客户反应称 CDN 流量异常,检查 CDN 提供的统计信息和服务器访问日志之后发现,360 相关的 spider 平均每天要访问该客户网站各文件合计 2,000,000+ 次,最近一次峰值在 8 号,访问了 4,000,000+ 次

    log



    CDN 访问统计





    简直丧心病狂

    更丧心病狂的是,明明是“安全检测爬虫”,结果一直在访问 js、css 文件



    ???.jpg
    第 1 条附言    2019-01-21 21:55:53 +08:00


    再见
    33 条回复    2019-01-22 16:56:00 +08:00
    d5
        1
    d5  
       2019-01-21 21:28:35 +08:00
    这操作,有创意,给你们扣了乱计费的帽子
    Wincer
        2
    Wincer  
       2019-01-21 22:05:32 +08:00 via Android   1
    报告,我们被搜索引擎 DDoS 了
    chinvo
        3
    chinvo  
    OP
       2019-01-21 22:18:43 +08:00
    @Wincer #2 多年前就有人在反映这个问题,没想到今天真的遇上了
    dorothyREN
        4
    dorothyREN  
       2019-01-22 09:19:50 +08:00
    话说 你这 root 用户执行命令为啥还加个 sudo。。。
    chinvo
        5
    chinvo  
    OP
       2019-01-22 09:29:37 +08:00 via iPhone
    @dorothyREN #4 习惯了
    dorothyREN
      &nbs; 6
    dorothyREN  
       2019-01-22 09:35:59 +08:00
    @chinvo 这不是个好习惯
    chinvo
        7
    chinvo  
    OP
       2019-01-22 09:44:09 +08:00 via iPhone
    @dorothyREN #6 用 sudo 是好习惯,root 登陆是客户的要求,但是习惯在某些情景下打 sudo 了(比如 /var/log 里面的文件都是 600 的权限
    Keyes
        8
    Keyes  
       2019-01-22 09:58:40 +08:00
    30G 才占 0.71%,还是个 WP 站? LZ 客户是谁啊这有点太牛逼了,你们运维也很猛,我维护过几个 WP 站,基本上单机五六千 IP 就完蛋了
    chinvo
        9
    chinvo  
    OP
       2019-01-22 10:05:49 +08:00 via iPhone
    @Keyes #8 我感觉这个占显示有问题,八号当天总共 40G+,应该是把小数直接当百分比了
    dorothyREN
        10
    dorothyREN  
       2019-01-22 10:21:00 +08:00
    @chinvo 我是说 不该执行啥都带 sudo 的,因为很多操作都不需要 sudo。
    chinvo
        11
    chinvo  
    OP
       2019-01-22 10:22:14 +08:00
    @dorothyREN #10 我说的习惯也不是什么都带 sudo

    /var/log/<软件名> 都是 600 的权限,所有者通常是软件默认启动用户,所以其他用户是无权访问的,这个情景下习惯打 sudo 没毛病啊?
    liwl
        12
    liwl  
       2019-01-22 10:25:16 +08:00
    @Keyes CDN .......
    chinvo
        13
    chinvo  
    OP
       2019-01-22 10:28:49 +08:00
    @liwl #12 是的,静态没回源,动态内容回源不多,没 30G 这么夸张
    nu11001
        14
    nu11001  
       2019-01-22 12:49:36 +08:00
    发邮件给 kefu#360.cn ,会转发给相应部门处理的
    mytsing520
        15
    mytsing520  
    PRO
       2019-01-22 12:58:20 +08:00
    我们这里已经屏蔽相关地址
    gnuth
        16
    gnuth  
       2019-01-22 13:51:47 +08:00
    云监测除了扫描安全漏洞,还需要频繁监测网站内容,包括敏感词、黑链、挂马等等,所以需要频繁请求,包括静态文件。目前控制的是每个站点每秒最高 10 个请求,因为爬虫部分使用了 Chrome,所以会有额外的请求,一般在可接受范围。如果贵站觉得请求量大,可以到云监测平台调低并发上限。
    gnuth
        17
    gnuth  
       2019-01-22 13:54:12 +08:00
    @mytsing520 如果你们网站没有授权云监测扫描,云监测是不会去请求的。扫描这个事情比较敏感,我们都是需要有客户授权书才启动。不过有时候有新同事不清楚情况,测试的时候会加熟悉的站点,比如 v 站就被添加扫描过。。。
    chinvo
        18
    chinvo  
    OP
       2019-01-22 14:01:14 +08:00 via iPhone
    @gnuth #16 客户没有用过相关产品,另外 Mozilla balabala 360Spider 这个 ua 出现的频率比 360WS 高多了
    gnuth
        19
    gnuth  
       2019-01-22 14:07:18 +08:00   1
    @chinvo 部分可能是搜索那边的。不过主要应该是云监测的,UA 没有统一是历史遗留问题,后面尽量修改掉。

    如果客户不使用,那么一般是监管部门添加的。
    sinver
        20
    sinver  
       2019-01-22 14:10:03 +08:00
    @chinvo 你用的是什么截图工具,放大之后还是蛮清晰的
    chinvo
        21
    chinvo  
    OP
       2019-01-22 14:11:55 +08:00 via iPhone
    @sinver #20 Command+Shift+4
    chinvo
        22
    chinvo  
    OP
       2019-01-22 14:14:25 +08:00 via iPhone
    @gnuth #19 emm,监管部门是指 zf 部门?

    不过即使是监管部门添加,360 能这么高频率爬取客户网站?三天干下去 200G,峰值带宽十几 M,谁扛得住啊?
    alexmy
        23
    alexmy  
       2019-01-22 14:16:35 +08:00
    360 云监控也是猛,一直刷刷刷,浪费我流量,他们后台还不让删我的站点,一删就说 token 已失效,明明我才刚登录。
    后来,我随便加了一个站点,才把我的网站从 360 云监控移除。一生黑。
    gnuth
        24
    gnuth  
       2019-01-22 14:21:39 +08:00
    @chinvo 第一个问题,是的。

    默认情况是每秒最多 10 个请求,如果 Chrome 请求,会多一些,方便的话能否导出一份云监测的请求日志?多谢!
    目前有在做请求上的优化,但是比较难,因为客户要的是 全面、及时。
    chinvo
        25
    chinvo  
    OP
       2019-01-22 14:23:36 +08:00 via iPhone
    @gnuth #24 算了,已经加了自动 ban IP range 的脚本
    gnuth
        26
    gnuth  
       2019-01-22 14:26:15 +08:00
    @alexmy 云监控不是很了解,不过按原理是多个节点每分钟请求下首页,或者 ping 之类的,这个耗不了多少流量吧?
    gnuth
        27
    gnuth  
       2019-01-22 14:28:35 +08:00
    @chinvo 抱歉造成麻烦。
    mytsing520
        28
    mytsing520  
    PRO
       2019-01-22 14:28:51 +08:00   1
    @gnuth
    你们做监测业务的,要注意用户网站是否按流量计费。如果是按流量计费或者虚拟主机,分分钟网站流量就被刷完了,还让用户的网站怎么对外服务呢?
    gnuth
        29
    gnuth  
       2019-01-22 14:33:30 +08:00
    @mytsing520 多谢提醒,这个之前确实没意识到,会跟产品沟通这个事情,尽快改善。
    chinvo
        30
    chinvo  
    OP
       2019-01-22 14:35:03 +08:00 via iPhone
    @gnuth 我刚刚发现,你们的这个产品( jk.cloud )添加网站竟然没有所有权验证,这随便一个人都能用你们这个服务当免费的 DDoS 工具,是不是不太好
    gnuth
        31
    gnuth  
       2019-01-22 14:44:19 +08:00
    @chinvo 云监控是其他组做的,我找人反馈下。
    alexmy
        32
    alexmy  
       2019-01-22 16:13:07 +08:00
    @gnuth 最最最头疼的是不让删,只剩下最后一个站点的时候,点击删除,提示:token 错误或过期,请再试!

    我刚登录就去删也无济于事,然后我就把百度给加上去了,把自己站点给删了。

    我那站点都被我关了,不想监控了,结果删也删不掉,nginx 日志一大堆都是 360JK。
    myvin
        33
    myvin  
       2019-01-22 16:56:00 +08:00
    一眼瞅到了 awk
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1087 人在线   最高记录 6679       Select Language
    创意工作们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 23:10 PVG 07:10 LAX 16:10 JFK 19:10
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86