推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 2262 天前的主题，其中的信息可能已经有所发展或是发生改变。
长时间爬取（三百次）左右，就出现内存不足，浏览器崩溃。有什么好的办法吗？
 | 1 weakiwi 2019-09-24 16:48:41 +08:00 试试 selenoid ？或者直接用 chromecdp |
 | 2 ml1344677 2019-09-24 16:50:11 +08:00 300 次是 300 次访问？ 用了无头模式吗 加载了图片吗 完全不清楚你是什么情况 |
 | 3 arrow8899 2019-09-24 17:03:08 +08:00 开了 300 个 tab 吗，你是不是忘记关闭页面了 |
 | 4 Leigg 2019-09-24 17:05:38 +08:00 via Android 得关了重启。 |
| 5 Leigg 2019-09-24 17:06:17 +08:00 via Android 遇到过，没查到什么原因。只能在定时重启。 |
 | 7 ClericPy 2019-09-25 22:53:00 +08:00 这问题貌似已经很多年了, 官方 issue 没说什么吗 之前也是各种内存爆裂的问题才试了各种 driver, 后来还试过一个叫 ghost.py 的坑, 最后不得不硬撸 cdp 了, 反正一共就那么几个请求, 也没必要上 puppteer 或者 pyppteer |
| 8 ClericPy 2019-09-25 22:54:31 +08:00 我自己调试 cdp 的时候倒是发现经常有 close tab 失败的情况, 或者杀子进程没关 fd 之类的小问题导致僵尸进程吃内存 你一个标签, 是打开一个又关上吗, 我记得 Chrome 既有关闭最近打开的功能, 默认的 history 深度又很高... 不确定你到底什么坑 |
Select Language