推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 4401 天前的主题，其中的信息可能已经有所发展或是发生改变。
实现一个爬虫，使用了python的进程池，multiprocessing.Pool，其中process个数设为multiprocessing.cpu_count()。然后遇到三个十分诡异的问题：
1. 进程池启动的进程有一些根本不干活，正在工作的进程少于process个数
2. 进程池中进程完成一个任务后就停止了，等到所有进程都完成了任务再开始新的一轮。比如说，进程池10个进程，每个取一个任务来执行，执行结束进程不再取新任务，貌似是退出了，等到池内10个进程任务都完成，然后10个进程都重新启动去取任务。
3.进程池在所有任务没有完成的且没有异常的情况下私自退出！
进程池每个进程执行一样的任务，任务中有多次次数据库读写和http请求。
困扰很长时间，希望解答
1. 进程池启动的进程有一些根本不干活，正在工作的进程少于process个数
2. 进程池中进程完成一个任务后就停止了，等到所有进程都完成了任务再开始新的一轮。比如说，进程池10个进程，每个取一个任务来执行，执行结束进程不再取新任务，貌似是退出了，等到池内10个进程任务都完成，然后10个进程都重新启动去取任务。
3.进程池在所有任务没有完成的且没有异常的情况下私自退出！
进程池每个进程执行一样的任务，任务中有多次次数据库读写和http请求。
困扰很长时间，希望解答
 | 1 justfly OP  1 主要代码如下： pool = multiprocessing.Pool(processes=multiprocessing.cpu_count()) for book in books: ....pool.apply_async(task, (book.book_id, book.cp_id)) pool.close() pool.join() |
 | 2 hahastudio 2013 年 12 月 30 日 1. 不清楚= = 2. Pool的话，只要池里有一个结束了就能上新任务吧 你说的“等到所有进程都完成了任务再开始新的一轮”应该是因为你这几个进程基本同时开的，工作任务基本一致，然后就基本能同时做完，那么当然感觉上是都做完了再开新的一轮。 现象你可以跑下面的代码看看，比如我这里Process 0 先跑完，然后8就跟着起来了，而不是等1~7结束 3. 是不是主进程没有pool.join()？ https://gist.github.com/hahastudio/8177137 |
| 3 hahastudio 2013 年 12 月 30 日 1 撞上了= =有join的话= =不清楚= = |
 | 4 powerfj 2013 年 12 月 30 日 建议别用多进程编程，坑多，可以试试gevent，如果scrapy可以实现功能，就用scrapy吧.. |
Select Language