github 不准 baidu 爬取 难道这就是 baidu 比 google 菜的原因
mYYnSmiTEQWcCwAr 2017 年 11 月 7 日 via Android 3706 次点击这是一个创建于 3060 天前的主题，其中的信息可能已经有所发展或是发生改变。
https://github.com/robots.txt
翻到最下面，github 对没有列出的其他搜索引擎的 bot(包括百度)直接 Disallow: / 了
难道这就是 baidu 比不上 google 的原因？
翻到最下面，github 对没有列出的其他搜索引擎的 bot(包括百度)直接 Disallow: / 了
难道这就是 baidu 比不上 google 的原因？
 | 1 chenwenup 2017 年 11 月 7 日  1 这是 baidu 比不上 google 的表现吧，并不是原因。 |
 | 2 mYYnSmiTEQWcCwAr OP @chenwenup 但反过来说 爬不了 github 的项目信息，用户想搜个 github 上的项目搜不到，自然更加比不上咯 |
 | 3 coolcoffee 2017 年 11 月 7 日 2 stackoverflow 没有禁止百度， 百度依然比较难检索， 可能是爬虫在墙内，爬墙外比较慢， 然后为了用户体验就把它 KO 了 |
 | 4 oott123 2017 年 11 月 7 日 2 从 archive.org 看，github 曾经允许过百度爬取。 https://web.archive.org/web/20150217105548/https://github.com/robots.txt https://web.archive.org/web/20150218110340/https://github.com/robots.txt github 在 2015 年 2 月 18 日移除了对百度蜘蛛的允许，我一开始觉得可能是和 GFW 大炮有关，后来查了一些 wiki 发现这个比 GFW 大炮还早，不知道是什么原因了。 可能是 12306 抢票事件？ |
 | 5 MrSoda 2017 年 11 月 7 日 3 当年 DDOS github 的时候就是劫持的 baidu 的流量，应该是这个原因吧 |
 | 6 jjianwen68 2017 年 11 月 7 日 |
 | 7 Ellison 2017 年 11 月 7 日 Disallow?说的好像百度遵守 robots 协议一样  |
 | 8 f2f2f 2017 年 11 月 7 日 @coolcoffee 说得百毒上那么多收录的 H 站都是在国内的服务器咯？ |
 | 9 Antidictator 2017 年 11 月 7 日 @Ellison #7 #7 2333333 |
 | 10 bearqq 2017 年 11 月 7 日 via Android 我在百度搜到过 tumblr，下面一行红字，大意是该网站访问不稳定 |
Select Language