lFOqSK

恭喜楼主。不容易啊

@registerrr 哦！很有道理！谢谢！

@putaozhenhaochi 可能 qb 是 qqbot 的缩写吧

@terranboy 我看它的 Crawled page 记录里显示的 html 是有把我特地给它准备的文章页和翻页隐藏超链接都渲染出来的，而且它确实有跟着这些超链接去爬我的文章页。所以我目前还没做 SSR 。之后研究下考虑弄一下 SSR 。
但是主要是它这个莫名其妙去穷举我没给过的页码的行为，太浪费时间了……

@qqjt
@Charrlles
谷歌是判定我的这些页面为软 404 （ Duplicate without user-selected canonical ）的。但是我纠结的地方在于，它浪费太多时间在穷举我的这些页码上面了。而我每页的内容，就是那些文章链接什么的，它只爬了很小一部分。而且它这个穷举目前根本没有停下来的意思。
目前，正经内容它只爬了 800 页左右，而这些穷举的 404 页面它爬了 5000 页了。而且我不知道它这样是在干嘛，如果爬完 10000 以内的页面，它是不是还回去爬大于 10000 的页面？因为谷歌对每个网站的爬取是有每日频次限制的，它这样浪费时间穷举，以前一个月就可以索引完整个网站，现在都过去半个月了，正经的内容才 800 页。整个网站爬完估计要花一年时间……

@westoy 但是谷歌的 search console 上是显示是它自己爬的。它现在已经穷举了 5000 多页了。爬取结果都是 Duplicate without user-selected canonical 。然后最神奇最离谱的地方在于，理论上来说它应该告诉我它是从哪里知道我这个网址所以才来爬的。但是这些页面的 Referring page 全部都是页面自己。比如 ?page=10000 的 Referring page 就是 ?page=10000 ，一模一样一字不差。
我从来没见过这么离谱的事情……如果不是因为这个 Referring page 全部都是页面自己，我还真不会怀疑到谷歌的爬虫逻辑上……

@lichao 做了呀。这个肯定是做了。但是它有自己的想法。

@sphawkcn 谢谢回复。那我还是放点广告上去试试吧

@jenlors 是啊我这个也是 75%流量来自移动端。电脑只有 20%。但是我有做移动端适配，所以其实影响不大吧。
之前 fackbook 火起来的时候他们那个社区功能确实对我这种网站打击还挺大的。但是现在 fackbook 已经凉了。
现在火的那些 ins ，tictok 反而对我这种付费订阅的没有什么影响。
感觉好像就今年突然一瞬间大家都变穷了不愿意付费了？