推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
redis 分布式爬虫你们有没有遇到跑了一段时间 在 redis 库中出现指纹和请求都消失了的情况吗?
z1421012325 2019-07-01 19:14:08 +08:00 2502 次点击这是一个创建于 2298 天前的主题，其中的信息可能已经有所发展或是发生改变。
半夜跑一个爬虫,第二天起来发现已经关闭了,数据也没有抓很多,但是 redis 数据库中的指纹都没有了,不是不主动清楚不会给清掉的吗?
还有 如果出现一些问题,比如 ip 池抽风了 很久没有更新了,但是爬虫还在用这个, 出现一堆"远程主机无法连接"导致卡住,是不是程序会在一定时间(30 分钟)自动关闭啊?
更新一个问题 分布式爬虫,但是 redis 数据库中只有 requests,没有指纹是咋回事?没有改源码
主文件修改 http://i1.fuimg.com/691087/2aae1d23cd8fe1ea.png
settings 文件修改 http://i1.fuimg.com/691087/3d03a6e6d2c679f2.png
 | 1 z1421012325 OP 更新--->>>>貌似是 redis 库的问题 爬了 4 个小时,最好 redis 库中的指纹消失了,我没与重启服务器过.. |
 | 2 ebingtel 2019-07-02 08:46:06 +08:00 @z1421012325 是 redis 数据“库”的问题，还是 redis 客户端“库”的问题？ |
| 3 z1421012325 OP |
 | 4 yumenoks 2019-07-12 21:57:50 +08:00 只有我是用 aiohttp 撸简易的分布式爬虫吗?.. |
 | 5 no13bus 2021-01-04 10:28:04 +08:00 @z1421012325 加个微信，聊聊这块？我的微信 no13bus |
Select Language
