这是一个创建于 1055 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近尝试用 React 搭了一个网站。结果谷歌一上来爬就从 10000 页开始爬。我这网站最大页数也就 1000 多页，它直接爬第 10000 页，然后 8000 ，6000 这样。全部都是无内容页。
我的翻页器有明确告诉它我网站的头尾页网址，以及上一页和下一页的网址。而且是打印出来给它看的。但是它跟没看到一样，自己穷举页数。然后 search console 那给我告警说收录了上千页 bad page 。正经的内容页面就爬了一点点，其他全在浪费时间穷举我的页码。我真无语。之前 HTML 网站就没这个问题。
有人知道谷歌是怎么爬 React 网站的吗？这个穷举是它自己的爬虫逻辑，还是我网站有什么错误超链接导致的？
我的翻页器有明确告诉它我网站的头尾页网址，以及上一页和下一页的网址。而且是打印出来给它看的。但是它跟没看到一样，自己穷举页数。然后 search console 那给我告警说收录了上千页 bad page 。正经的内容页面就爬了一点点，其他全在浪费时间穷举我的页码。我真无语。之前 HTML 网站就没这个问题。
有人知道谷歌是怎么爬 React 网站的吗？这个穷举是它自己的爬虫逻辑，还是我网站有什么错误超链接导致的？
 | 1 lichao 2022-11-23 09:57:06 +08:00 建议做一个 Sitemap 给它 |
 | 3 QKgf555H87Fp0cth 2022-11-23 10:06:42 +08:00 从最新的爬，没毛病。不过他没有检测内容，因为你随机输出一些东西，只要不是 404 ，他就保存了。建议返回 404 。 |
 | 4 qqjt 2022-11-23 10:32:57 +08:00 无内容页得返回 http 404 啊 |
 | 5 slime7 2022-11-23 11:29:44 +08:00 看楼上说返回 404 ，我问一下前后端分离的页面怎么优雅返回 404 状态？ |
 | 6 Masterlxj 2022-11-23 11:31:18 +08:00 你给它个 robots 不就好了么 |
 | 7 estoy 2022-11-23 11:45:08 +08:00 蜘蛛不会穷举的 这是被伪装成 google 爬虫的给定向采集了 |
 | 8 Charrlles 2022-11-23 13:04:41 +08:00 via iPhone 10000 页显示成软 404 ，加上 noindex 就可以了吧，或者直接重定向到 404 页面 |
 | 10 locoz 2022-11-23 13:15:42 +08:00  1 @westoy #7 注意看人家说的啊，“然后 search console 那给我告警说收录了上千页 bad page”，都在 Google 自己的地方提示了怎么可能还是假 Google... |
 | 11 lFOqSK OP 1 @westoy 但是谷歌的 search console 上是显示是它自己爬的。它现在已经穷举了 5000 多页了。爬取结果都是 Duplicate without user-selected canonical 。然后最神奇最离谱的地方在于，理论上来说它应该告诉我它是从哪里知道我这个网址所以才来爬的。但是这些页面的 Referring page 全部都是页面自己。比如 ?page=10000 的 Referring page 就是 ?page=10000 ，一模一样一字不差。 我从来没见过这么离谱的事情……如果不是因为这个 Referring page 全部都是页面自己，我还真不会怀疑到谷歌的爬虫逻辑上…… |
 | 13 terranboy 2022-11-23 13:26:16 +08:00 SSR 了没 不然爬啥 |
| 14 lFOqSK OP @qqjt @Charrlles 谷歌是判定我的这些页面为软 404 （ Duplicate without user-selected canonical ）的。但是我纠结的地方在于，它浪费太多时间在穷举我的这些页码上面了。而我每页的内容，就是那些文章链接什么的，它只爬了很小一部分。而且它这个穷举目前根本没有停下来的意思。 目前，正经内容它只爬了 800 页左右，而这些穷举的 404 页面它爬了 5000 页了。而且我不知道它这样是在干嘛，如果爬完 10000 以内的页面，它是不是还回去爬大于 10000 的页面？因为谷歌对每个网站的爬取是有每日频次限制的，它这样浪费时间穷举，以前一个月就可以索引完整个网站，现在都过去半个月了，正经的内容才 800 页。整个网站爬完估计要花一年时间…… |
| 15 lFOqSK OP @terranboy 我看它的 Crawled page 记录里显示的 html 是有把我特地给它准备的文章页和翻页隐藏超链接都渲染出来的，而且它确实有跟着这些超链接去爬我的文章页。所以我目前还没做 SSR 。之后研究下考虑弄一下 SSR 。 但是主要是它这个莫名其妙去穷举我没给过的页码的行为，太浪费时间了…… |
 | 17 yazoox 2022-11-23 14:36:22 +08:00 楼主，怎么看 goolg 爬你的网站这些明细详细信息的？ |
 | 20 blankmiss 2022-11-23 15:15:23 +08:00 爬虫有自己的想法 哈哈哈 |
Select Language