 | 1 Jojoy 2022 年 10 月 1 日 换句话：有没有倒贴宽带钱给用户的网站。 |
 | 2 0o0O0o0O0o 2022 年 10 月 1 日  2 按照 robots.txt 来应该就可以 |
 | 3 ly879 OP 更新：网站根目录下有个 robots.txt 文件表明是否允许爬虫。 |
 | 4 qianxaingmoli 2022 年 10 月 1 日 新手入门案例都是豆瓣，豆瓣在反爬上比较友好一点 |
 | 5 Chaidu 2022 年 10 月 1 日 你用 Google 能搜索到的网站都是“公开授权的可以允许爬虫的网站” |
 | 6 kasusa 2022 年 10 月 1 日 煎蛋网好多人都爬爬） |
Select Language