这是一个创建于 2093 天前的主题，其中的信息可能已经有所发展或是发生改变。
因为是个人网站，很多地方比较马虎，因为用这 chrome，google 就把我的测试页面抓取了，这些测试页面只在 chrome 上打开过，从来没在网上公开过。
 | 1 anUglyDog 2020-04-04 12:48:05 +08:00 还算合理吧,毕竟是一家的. |
 | 2 Tianao 2020-04-04 12:49:02 +08:00  2 请正确配置 robots.txt 。 |
 | 3 mrchi 2020-04-04 12:49:53 +08:00 测试页面公网能访问吗？你写 robots.txt 了没？ |
| 4 Tianao 2020-04-04 12:51:51 +08:00 另请参考 developers.谷歌.康姆 /search/reference/robots_meta_tag 。 |
 | 5 mnssbe 2020-04-04 12:52:21 +08:00 via iPhone chrome 里有个设置会把 url 发送给 google，你可以反选 |
 | 6 wolfan 2020-04-04 13:00:28 +08:00 via Android roobts 对国产作用不大，但对国外的多少比国内的强。 |
 | 7 dot2017 2020-04-04 13:32:36 +08:00 你这个测试页面上有外链出去到别的被索引过的页面吗，google bot 抓取展现是双向的 |
 | 8 deplives 2020-04-04 14:23:46 +08:00 是否正确配置 robots ？ 如果有，再来吐槽。如果没有，请找自己的原因 |
 | 9 dobelee 2020-04-04 15:13:57 +08:00 via iPhone 能公网访问就别抱怨。。 |
 | 10 pinews OP |
 | 13 daozhihun 2020-04-04 20:17:37 +08:00 via Android 你没设 robots，google spider 咋知道哪些是敏感的 |
 | 14 alan0liang 2020-04-04 20:18:47 +08:00 via Android Google 把我们 gitea 一大堆 repo 的所有语言版本都索引了 |
 | 15 aureole999 2020-04-04 23:07:26 +08:00 @pinews 比如你链接的页面是属于 Google 的或者有 Google ads，analytics 之类的，那 Google 肯定能拿到 referer 啊，referer 就是你自己的页面了。 |
 | 16 binux 2020-04-04 23:30:03 +08:00 via Android 5 把 Google 换成 360 浏览器再来看看评论 |
 | 17 miaomiao888 2020-04-05 00:10:33 +08:00 @binux 你这种叫啥来着？ 算了还是给你拉红一下 |
 | 18 mxalbert1996 2020-04-05 01:21:22 +08:00 via Android 1 你有敏感信息就不要放公网上，放公网上就设个访问限制，你放公网上又不设访问限制又不写 robots 被抓了还怪人家？ |
| 19 binux 2020-04-05 02:26:38 +08:00 via Android |
 | 20 ksdd521lr 2020-04-05 02:32:54 +08:00 via Android google 的骚操作哈哈 |
 | 21 laqow 2020-04-05 09:09:23 +08:00 via Android 我理解这个事实上都不用从 chrome 抓，在注册域名的时候就抓了，甚至可能你拿 8888 做 dns 时候就抓了。 |
| 22 pinews OP 我把我的意思明确一下，本质上不是蜘蛛抓取未公开的页面， 而是 google chrome 将我的访问记录下来，并公布在网络上了，恰好是我的自己的网站，所以正好发现了。 |
Select Language