这是一个创建于 217 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近大家有遇到新的类似爬虫的，但是不标记自己是爬虫的爬虫吗。。。有点绕口
IP 定位都是阿里云新加坡区域的，类似 47.79.*.*、47.82.*.* ，爬取 IP 数很多，都是同一地区的
我想着这个普通程序员搞个爬虫，也没必要用这么多 IP ，用代理工具应该也不会集中在一个 ip 网段吧。
这大概率会是哪家公司在爬数据吧，但是又标明自己是谁，还要伪装成脚本小子一样的感觉
IP 定位都是阿里云新加坡区域的，类似 47.79.*.*、47.82.*.* ，爬取 IP 数很多，都是同一地区的
我想着这个普通程序员搞个爬虫，也没必要用这么多 IP ，用代理工具应该也不会集中在一个 ip 网段吧。
这大概率会是哪家公司在爬数据吧，但是又标明自己是谁，还要伪装成脚本小子一样的感觉
 | 1 set 217 天前 抱歉对这个话题不了解， 没搜索过类似答案，只是看到这个问题单纯沟通： 这方面有规范或者成熟的实践吗？ 是不是各家数据公司/个人都用浏览器 UA 来抓取数据吧， 很多网站（更多国内）禁止特定爬虫抓取，而对个人 UA 完全不限制。 |
 | 2 pikko 217 天前 用阿里微服务（云函数），他们会随机 ip 访问外网 |
 | 3 hefish 217 天前 非常同意 op 观点，公安局也不管管，这世道怎么能容许这样的爬虫存在的。 |
 | 4 xshwy 217 天前 我服务器也遇到过这种爬虫 IP ，4 核 8G 12M 的配置给我直接打满了… |
 | 5 DT27 217 天前 建议 IP 段直接屏蔽掉。 |
 | 6 freeup 217 天前 也可能是训练大模型的数据爬虫 |
Select Language