这是一个创建于 2492 天前的主题，其中的信息可能已经有所发展或是发生改变。
我确定也没有发布到别的地方。
难道出了奇了吗？
对单独目录学个禁爬声明有用吗？
 | 1 soha 2018-12-17 07:43:50 +08:00 via Android /robots.txt ，请。这个文件就是给蜘蛛 /爬虫看的。 搜索引擎肯定会严格按照你写的 robots.txt 来爬，有良心的造爬虫的人也会按照它的限制来做。 |
 | 2 zmj1316 2018-12-17 09:00:24 +08:00 via Android 问你的 chrome |
 | 5 Wincer 2018-12-17 09:35:11 +08:00 via Android 设置一下 noindex |
| 7 @fbqk2008 我不确定是 chrome 记录还是有其他被抓取过的页面有指向你某些未被抓取页面的链接 |
 | 8 dobelee 2018-12-17 10:06:09 +08:00 via Android 没显示出来过是什么意思？有链接能进去就能爬到啊。 |
Select Language