
经常遇到诡异的问题,换 ubuntu 就没事了。 比如说:
import multiprocessing, time, queue # g_queue = queue.Queue() g_queue = multiprocessing.Queue() c = multiprocessing.cpu_count() def init_queue(): print("init g_queue start") while not g_queue.empty(): g_queue.get() for _index in range(10): g_queue.put(_index) print("init g_queue end") def task_io(task_id): print("IOTask[%s] start" % task_id) while not g_queue.empty(): try: data = g_queue.get(block=True, timeout=1) print("IOTask[%s] get data: %s" % (task_id, data)) time.sleep(1) except Exception as excep: print("IOTask[%s] error: %s" % (task_id, str(excep))) print("IOTask[%s] end" % task_id) if __name__ == '__main__': print("cpu count:", multiprocessing.cpu_count(), "\n") print("========== 多进程执行 IO 密集型任务 ==========") init_queue() time_0 = time.time() process_list = [multiprocessing.Process(target=task_io, args=(i,)) for i in range(c)] for p in process_list: p.start() for p in process_list: if p.is_alive(): p.join() print("结束:", time.time() - time_0, "\n") 完全拿不到 queue 里面的东西,直接当空气了。
1 wwqgtxx 2017-10-18 11:31:51 +08:00 via iPhone 你这样写当然拿不到参数,windows 下不支持 fork,所以你的 queue 不能声明为全局变量,只能作为参数传进你的函数,要不然就变成两个独立的对象了 |
2 whx20202 2017-10-18 11:32:18 +08:00 可以配置 IDE 插件,同步到 linux 环境里面,然后调试,别在 IDE 里面调试涉及到底层的 |
3 araraloren 2017-10-18 11:52:49 +08:00 @wwqgtxx linux 也不可以,凑巧罢了 @takanasi 你应该去看官方的文档,里面有告诉你如何在多"线程"之间共享数据 https://docs.python.org/2/library/multiprocessing.html |
4 geelaw 2017-10-18 12:06:04 +08:00 并不需要看代码就可以总结出一个命题: 要么是 Python 的实现是有问题的,要么是 po 主写的代码本来就是不可移植的。 |
5 NoAnyLove 2017-10-18 12:07:13 +08:00 用 Windows 写 Python 的路过。这个问题就算你不会看文档,谷歌一下也是会出来答案的 |
6 enenaaa 2017-10-18 12:07:57 +08:00 这只能说明你没好好看文档。 |
7 Tuisku 2017-10-18 12:12:44 +08:00 Windows 拒绝了你的锅,并冲你吐了口水,呸。 |
8 XIVN1987 2017-10-18 12:16:19 +08:00 via Android Windows 写 py 的路过 |
9 SuperMild 2017-10-18 12:35:17 +08:00 有问题就解决问题,没有系统是完美的,代码不能跨平台也是常见的事 |
10 wellsc 2017-10-18 12:38:39 +08:00 via iPhone 在 win 下用 python 处理 excel 还是妥妥的 |
11 takanasi OP @wwqgtxx @araraloren @geelaw @NoAnyLove @enenaaa @Tuisku 不好意思,打断你们装逼一下,这不是我写的,我就是拿来说明 Windows 和 linux 的不同而已 https://zhuanlan.zhihu.com/p/24283040 |
12 tosexxx 2017-10-18 12:40:43 +08:00 何必那么纠结环境 |
13 wwqgtxx 2017-10-18 12:42:11 +08:00 @araraloren 在 Linux 上如果 multiprocessing 的 context 使用的是 fork 方式,这样写应该是可以的,但如果使用的是 spawn 方式这样写是肯定会出错的 |
14 wwqgtxx 2017-10-18 12:44:18 +08:00 @takanasi 然后呢,你把这个问题发上来是要说明什么,还是你自己才是打算过来装逼一下? 那个程序自己写的有问题,就不该那样写,出了问题怪谁 |
16 topbandit 2017-10-18 12:46:20 +08:00 所以来给知乎打广告了 |
17 araraloren 2017-10-18 12:50:13 +08:00 @wwqgtxx maybe,不了解这个问题 其实我感觉这是 python 自己的问题,这代码从逻辑上看是没有问题的吧。。 |
18 wwqgtxx 2017-10-18 12:54:00 +08:00 @araraloren 这个从原理上说就是一个普通 C 程序的全局变量共享问题,如果是 fork 模式的话,那么在 fork 之前对全局变量的修改会被 fork 的子进程继承,如果是 spawn 模式的话,第一个程序对全局变量的任何修改在子进程都不可见 |
19 SuperMild 2017-10-18 12:58:36 +08:00 你用 C#写一个在逻辑上没有问题在 Win 上完美编译运行的程序,直接拿到 Linux 上去也有可能出问题,能说是 C#语言本身的问题? 就算是 Java 也能写出不跨平台的代码,那么 Java 也有问题? 就算不能直接跨平台是个问题,那也是一切语言的问题,不能单独拿 python 说事。 |
20 Tuisku 2017-10-18 12:59:25 +08:00 @takanasi #11 不好意思,所以你就用别人的代码拿上来装了一个逼顺便送给 Windows 一个锅,然后被人指正之后又把锅甩给原作者了是吗? 而且你所你所 @ 的几位的给你的回复,是“装逼”?要不要一条一条的重新读一遍,然后指点一下我们,这几条回复的逼点在哪里? |
21 laqow 2017-10-18 13:04:08 +08:00 via Android 操作系统对 c 语言的限制在 python 上都有,不是 python 的锅 |
22 takanasi OP |
23 NoAnyLove 2017-10-18 13:10:04 +08:00 @takanasi 不知道你想表达什么。如果你看网上一些讨论多进程的代码,很多是不能直接在 Windows 上运行的,比如 Windows 下需要额外的处理__main__和 freeze_support()。不过解决问题本身就是程序员的技能,如果刚好对系统知识有一定了解,有知道如何去代码中找答案,那么是不会产生这种疑问的,因为这并不是诡异的问题,而是系统限制,且有文档说明了这个问题。 https://stackoverflow.com/questions/8276933/python-multiprocessing-lock-issue |
24 Patrick95 2017-10-18 13:12:10 +08:00 @takanasi #22 你这个帖子也不像是在问啊,妥妥的吐槽帖。 这是不对的。正帖里明明在吐槽,回帖中有人纠正就说别人在「装逼」。 人家有说错什么吗?就算人家不是解答给你的,也可以解答给那些对这个问题抱有疑惑的人啊。你「装逼」这个词注定了你不想好好讨论,还怪别人歪楼。 |
27 mentalkiller 2017-10-18 13:24:25 +08:00 感谢 LZ 丰富 block 列表 |
28 MushishiXian 2017-10-18 13:37:02 +08:00 你的标题压根不是在问问什么系统有什么常见的不同,如果是你的表达能力有问题的话,那也是你的问题,你怎么就觉得人家在装逼呢? |
29 luozisha 2017-10-18 13:43:30 +08:00 平心而论,我觉得这个帖的 title 才是最装逼的。难道用 Linux 写 Python 就是大丈夫了吗? |
30 860670496 2017-10-18 13:49:37 +08:00 造轮子也是要看路的啊 公路胎上雪地那不是大概率表演原地漂移 |
31 ytmsdy 2017-10-18 14:28:51 +08:00 用 windows 写了 3 年 python 的淡定路过。。 pycharm 下面写的溜溜的。 |
32 araraloren 2017-10-18 14:59:45 +08:00 @wwqgtxx 恩,想到了 不过只能限制在只读的情况下了,我想得有点复杂了 |
33 szetrov 2017-10-18 15:22:56 +08:00 via Android 大兄弟心气好高 2332 楼下的几位回复连“怼”都称不上,就是正常回复,结果被说成是装逼。呵呵了 2333 |
35 geelaw 2017-10-18 15:27:38 +08:00 |
36 sonyxperia 2017-10-18 15:59:15 +08:00 Java 在等着楼主 |
37 zgx030030 2017-10-18 16:01:42 +08:00 如果某段代码是在 win 上正常反而你放在 linux 下出错,你会起个“用 linux 写 python 真的大丈夫”的标题吗?如果不会且默默的把 Linux 下的错误改正,说明你可能有一种在 linux 下做开发的优越感。 |
38 matsuijurina 2017-10-18 16:12:57 +08:00 via Android 你不用开源库无所谓。python 好多机器学习的开源库作者根本没试过在 windows 下编译,一运行就出错。 |
39 takanasi OP @zgx030030 我一个天天用装 windows 神船写程序的低逼格人士莫名其妙又变成有一种在 linux 下做开发的优越感了。 太冤了。 |
40 annielong 2017-10-18 17:09:23 +08:00 感觉 写代码真到这个地步的时候,大多都已经转 linux 了,而平常没用到这种地步的人,继续用 windows 也没啥问题, |
41 PythonAnswer 2017-10-18 19:22:52 +08:00 via Android python 对 windows 支持很好的 |
42 lslqtz 2017-10-18 19:22:58 +08:00 PHP 还有小部分兼容性问题呢 你开心就好 |
43 megachweng 2017-10-18 20:06:32 +08:00 via iPhone PyQt 也是,在 Mac linux 下都没问题,拿到 windows 就 c000005 |
44 focusheart 2017-10-18 22:52:48 +08:00 @Lucius 有道理! |
45 wolong 2017-10-19 07:15:13 +08:00 windows 下开发 python,只要不是在 cmd 下运行 py,其实还好。 |
46 guofs 2017-10-19 07:48:05 +08:00 via Android 这跟在 v2 或内地用繁体一样,你高兴就好 |
47 quickma 知乎的技术氛围也配来 V2 讨论? |
48 tbag781623489 2017-10-19 09:19:13 +08:00 via iPhone 我有个疑问: win10 的 bash 能不能达到原生 ubuntu 的效果? |
49 ooh 2017-10-19 09:22:45 +08:00 via Android 给你说个常见的不同吧,大小写敏感 滑稽 |
50 ranwu 2017-10-19 11:34:18 +08:00 遇到问题解决问题就行了。 |
51 Arnie97 2017-10-19 12:19:55 +08:00 via Android 既不是 Windows 的锅也不是 Python 的锅,代码本身不考虑可移植性的话,换哪个平台都一样 |
52 sixand 2017-10-19 22:15:23 +08:00 docker 能帮到你。。我在 windows 下就是用 docker 来执行的。 |
53 allgy 2017-10-30 18:19:03 +08:00 微软厉害还是你厉害? |