推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 2461 天前的主题，其中的信息可能已经有所发展或是发生改变。
very new to 爬虫 python 现在在爬取京东评论，虽然能在 network 里面找到 js 加载请求的 url，拿到 json 文件，再改变页数把评论都爬下来 这样我每次爬取一个商品都要手动找 url，python 有没有方法可以不需要我手动把 url 找出来，感觉这种找 URL 的方式有点牵强 更好的做法是什么？请教一下大家
 | 1 kingmo888 2019-02-07 16:51:08 +08:00 selenium 模拟浏览器了解一下。全部模仿人工操作。 如果出现类似淘宝那种限制的情况，pyqt5 自写浏览器了解一下。 |
 | 2 FridayGentleman 2019-02-07 20:29:42 +08:00 京东商品一般有商品 ID 的吧，有 ID 拼接一下就有 URL 了吧，这是以前爬的经验 |
 | 3 snappyone 2019-02-07 21:47:07 +08:00 2 楼说的 url 拼接，如果你要爬虫能从当前页面抓取其他商品 url 的话一般先拿到所有 url 然后通过正则匹配获取符合京东商品 url 的链接再继续爬取 |
 | 4 XxxxD 2019-02-08 17:51:46 +08:00 前几天研究了一下，评论是有一个 api 链接的，然后请求的时候附上产品 id, 还有其他的评论的数量，页数什么的，然后这些递增就可以了，另外图片有水印的，链接改个数字就 ok 了 |
 | 5 SpiderXiantang 2019-02-09 02:15:11 +08:00 via Android 最近在写京东的爬虫监控的开源项目 有兴趣一起搞吗 |
| 6 SpiderXiantang 2019-02-09 02:17:03 +08:00 via Android 我之前做评论的思路是 先上级页面拿商品 id 然后拼接 url 还有就是京东的商品价格也做得很有意思 |
 | 7 Oane OP 看了大家的回复 京东评论是 js 再加载请求 可以找到请求的 url json 文件 改变 url 的 page 把评论拿到 这样的确是可以爬取 但是问题是单个商品我可以这样做 如果商品很多不可能一个一个找 而且评论的 url 我是手动 chrome network 找出来的 python 有没有库可以找到这些网络请求 得出请求的网址 |
| 8 Oane OP @SpiderXiantang 主要是这个 url 有的部分是没有规律的吧 商品 id,页数我可以拼接，fetchjson 开头的规律没看出来 关于合作 我还是个没毕业的实习小弟 技术一般 怕是帮不上什么忙了 |
| 9 Oane OP 刚才尝试了 js 的请求 url 里面有些东西删除也没事 可以采取 url 拼接的方式了 现在的问题是如何自动拿到这个 url |
Select Language