为啥搜狗的蜘蛛那么变态？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 2930 天前的主题，其中的信息可能已经有所发展或是发生改变。

我发现搜狗的蜘蛛访问犹如 ddos，百度蜘蛛访问会自动识别你的带宽限，自动调整速率，搜狗则不会，而且还经常换着各种 ua 来访问（不带 sogou 标识）。加大带宽也没用，搜狗蜘蛛潮涌般过来一会又占满了。而网站又需要借助 seo，这种情况真是敢怒不敢言呀。还是希望百度努力点，别让搜狗给占太多份额

Mozilla/5.0 (Linux; U; Android 4.1.1; zh-CN; GT-N7100 Build/JRO03C) AppleWebKit/534.31 (KHTML, like Gecko) UCBrowser/9.3.0.321 U3/0.8.0 Mobile Safari/534.31

123.126.113.164
106.120.173.145

蜘蛛

搜狗

访问

123.126.113.164

4 条回复 2018-02-13 19:58:39 +08:00

porwyn

2017-12-16 14:36:20 +08:00

一年了，百度 360 的权重都 1 了，搜狗还没收录

liuminghao233

2017-12-16 16:16:51 +08:00 via iPhone

把 ip ban 掉就好了

yezhiye

2018-02-13 18:36:14 +08:00 via Android

ip 反查什么都没有，确定是搜狗的爬虫么

acoldfox

2018-02-13 19:58:39 +08:00

@yezhiye

$ nslookup 123.126.113.164
Server: 192.168.1.1
Address: 192.168.1.1#53

Non-authoritative answer:
164.113.126.123.in-addr.arpa name = sogouspider-123-126-113-164.crawl.sogou.com.

Authoritative answers can be found from: