这是一个创建于 52 天前的主题，其中的信息可能已经有所发展或是发生改变。
 | 1 bwnjnOEI 2025 年 11 月 25 日 via iPhone 面对动态页面和抗反爬稍微复杂点的就不行了吧 简单的网站依然可以用啊 |
 | 2 donaldturinglee 2025 年 11 月 25 日 scrapy 一直就不是单着用的吧？没过时，但是你可以学一下 playwright |
 | 3 sgld 2025 年 11 月 25 日 试试 DrissionPage ? |
 | 4 zonde306 2025 年 11 月 25 日 简单就 scrapy ，复杂就不用框架，直接操作浏览器 例如 camoufox patchwright |
 | 5 azzzzzz 2025 年 11 月 26 日 未来还是直接模拟浏览器的吧 |
 | 6 IIce 2025 年 11 月 26 日 毕业之后就没用过 scrapy 了，有自研的，也有 feapder, 还有一些就是一个 requests 脚本，可能项目不够大吧 |
 | 7 1018ji 2025 年 11 月 26 日 浏览器还能抓啥，APP 走起 |
 | 8 Toowhite7 2025 年 11 月 26 日 Selenium or playwright |
 | 9 tim2017 2025 年 11 月 26 日 via iPhone 之前用过简数的代爬，收费还可以，以前免费提供大量知名网站的模版，现在都限制了。 我公司网站靠爬虫每天上百 IP ，几年没更新了。 国内互联网 V2EX 这种开放性的 web 原创数据越来越少了，都是私域平台。 |
 | 11 llsquaer 2025 年 11 月 26 日 一个项目一个 py 还要啥 scrapy .. |
 | 12 securityCoding 2025 年 11 月 26 日 via Android chrome cdp? |
 | 13 gopo 2025 年 11 月 26 日 1. 逆向协议（网页优先，APP 其次） 2. 自研浏览器、模拟器（主要过指纹还有方便自定义） 3. 简单网站（静态和动态的区别）随便搞 |
 | 14 xjiang1982154112 PRO 考虑真实性模拟，最简单的是 playwright ，甚至可以直接拿一个 mac mini ，操作真实浏览器（非无头）；方便程度超出你的想象~~ 一般场景用 scrapy 够了 你说的大型，如果是指数据量巨大，那其实爬虫不是重点，手搓 python 脚本都不是问题，问题是 IP 池等各种"反-反爬"处理。 如果指的是网站类型超多（几百几千，甚至几万种），要吗人肉堆脚本，要吗用 AI （安利一下我们的东西：猫头鹰 AI：mtywatch.com ） 如果指的是"突破"难度很大，那么你重点研究的是法律风险 |
Select Language