Python 关于多线程和多进程同时共用问题

# /usr/bin/env python # _*_ coding:utf-8 _*_ import argparse, datetime, time import threading from multiprocessing import Pool def test(i): with SEM: print(i) time.sleep(TIME_OUT) def test1(c): threads = [] for i in range(int(200)): t = threading.Thread(target=test, args=(i,)) t.start() threads.append(t) for t in threads: t.join() def main(): start_time = time.time() print(datetime.datetime.now().strftime('Start Time: %m/%d/%Y %H:%M:%S')) p = Pool(int(args.PROCESS)) for i in range(10): p.apply_async(test1, args=(i,)) p.close() p.join() print(datetime.datetime.now().strftime('Complete time: %m/%d/%Y %H:%M:%S')) print("Total time：%s" % (time.time() - start_time)) if __name__ == '__main__': parser = argparse.ArgumentParser(description='test') parser.add_argument('-m', dest='PROCESS', type=int, help='多进程数量，默认 5', default=5) parser.add_argument('-t', dest='THREAD', type=int, help='多线程数量，默认 20', default=20) parser.add_argument('-o', dest='OVERTIME', type=int, help='超时时间 默认 2', default=2) args = parser.parse_args() SEM = threading.Semaphore(int(args.THREAD)) TIME_OUT = int(args.OVERTIME) main()

args

int

Time

22 条回复 2019-01-10 11:10:52 +08:00

ysc3839

2019-01-06 18:07:25 +08:00 via Android

Windows 不支持 fork 吧？没把变量拷贝到别的进程。

smelond

2019-01-06 18:26:06 +08:00

@ysc3839 请问这个还有办法解决吗

ysc3839

2019-01-06 18:29:04 +08:00 via Android

@smelond 在 test1 中初始化 SEM。

smelond

2019-01-06 18:37:39 +08:00

@ysc3839 咋个初始化呢，是这样么？但是这样之后程序一秒运行完成，没有执行里面的操作
``` python

global SEM
SEM = threading.Semaphore(int(args.THREAD))
```

ysc3839

2019-01-06 18:43:52 +08:00 via Android

@smelond 那我也不知道了……是我不懂 Python。

lihongjie0209

2019-01-06 18:58:07 +08:00

你要把这两个变量放到全局变量中去

smelond

2019-01-06 19:04:51 +08:00

@ysc3839 不好意思，感谢你的回复，感觉可能惹你生气了，我对 Python 也不是太熟练，听到你说了在 test1 里面初始化 SEM，我想了一下，想到了我可以先将:
sem = int(args.THREAD)
time_out = int(args.OVERTIME)
放到 main 函数里面，然后通过传参方式，从 mian-> test1->test 最后直接在 test 里面写入
with threading.Semaphore(sem): 然后可以成功的运行，感谢你的回复

smelond

2019-01-06 19:07:00 +08:00

@lihongjie0209 放到全局变量里面不管怎么样，test 函数就是不识别

ysc3839

2019-01-06 19:56:52 +08:00 via Android

@smelond 我没生气啊，我真的不懂啊……
我从来没用过 multiprocess，前面只是随口说说以为可以解决问题，但解决不了我就真的不懂了。

cgsv

2019-01-06 20:17:46 +08:00

https://stackoverflow.com/questions/6596617/python-multiprocess-diff-between-windows-and-linux https://rhodesmill.org/brandon/2010/python-multiprocessing-linux-windows/ 供参考~

Vegetable

2019-01-06 20:49:17 +08:00 via Android

一般来说，可以认为 Windows 不能直接使用 multiprocessing，也就是不支持多进程。

JCZ2MkKb5S8ZX9pq

2019-01-06 20:58:24 +08:00

多进程好像可以设一个 value 作为公用的变量，类似锁吧。
多线程以前试过，但没什么印象了。反正最后用多进程了。

xiangace

2019-01-07 01:08:18 +08:00

1. 多线程实际上还是利用单核, 直接用多进程.
2. Python 在共享全局变量这块做的不太好, 多线程场景可以查询下 thread local 相关的资料.
多进程考虑 multiprocessing 的 value 机制, multiprocessing 支持一个 daemon 进程维护这组变量, 多进程通过 IPC

xiangace

2019-01-07 01:14:33 +08:00

接上一跳评论,理解错题意了, win 下的机制比较诡异.

lrxiao

2019-01-07 01:14:34 +08:00

multi process 本身就不能假设同一个东西会 share between processes...
然后就是 message-passing or shared memory
https://docs.python.org/2/library/multiprocessing.html#multiprocessing.Value

a226679594

2019-01-07 08:33:10 +08:00

把这两个变量放到全局变量中去

arrow8899

2019-01-07 09:13:13 +08:00

多进程是不能共享变量的，可以用共享内存试试

arrow8899

2019-01-07 09:24:36 +08:00

shared_mem = manager.dict() 这一句就是添加一个共享内存，可以在多进程之间使用
```
# /usr/bin/env python
# _*_ coding:utf-8 _*_

import argparse, datetime, time
import threading
import multiprocessing

def test(i):
with SEM:
print(i)
time.sleep(TIME_OUT)

def test1(c, data):
global SEM
global TIME_OUT
SEM = data['SEM']
TIME_OUT = datda['TIME_OUT']

threads = []
for i in range(200):
t = threading.Thread(target=test, args=(i,))
t.start()
threads.append(t)
for t in threads:
t.join()

def main(args):
start_time = time.time()
print(datetime.datetime.now().strftime('Start Time: %m/%d/%Y %H:%M:%S'))
manager = multiprocessing.Manager()
p = multiprocessing.Pool(int(args.PROCESS))

shared_mem = manager.dict()
shared_mem['SEM'] = threading.Semaphore(int(args.THREAD))
shared_mem['TIME_OUT'] = int(args.OVERTIME)

for i in range(10):
p.apply_async(test1, args=(i, shared_mem))
p.close()
p.join()
print(datetime.datetime.now().strftime('Complete time: %m/%d/%Y %H:%M:%S'))
print("Total time：%s" % (time.time() - start_time))

if __name__ == '__main__':
parser = argparse.ArgumentParser(description='test')
parser.add_argument('-m', dest='PROCESS', type=int, help='多进程数量，默认 5', default=5)
parser.add_argument('-t', dest='THREAD', type=int, help='多线程数量，默认 20', default=20)
parser.add_argument('-o', dest='OVERTIME', type=int, help='超时时间默认 2', default=2)
main(parser.parse_args())
```

julyclyde

2019-01-07 10:08:34 +08:00

在函数里引用了
既不是参数，又不是本地定义
的变量
这是一种很典型的错误

qcts33

2019-01-07 11:07:31 +08:00

显试的传递一下不行吗……

a226679594

2019-01-09 09:22:51 +08:00

一般来说，可以认为 Windows 不能直接使用 multiprocessing，也就是不支持多进程。

old18

2019-01-10 11:10:52 +08:00

多进程不共享全局变量, 把 SEM 存放在消息队列里,就应该好了...