推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
求解， python3.5 的 asyncio 库， async/await 的一些疑惑
fghjghf 2020-04-15 18:14:28 +08:00 4753 次点击这是一个创建于 2005 天前的主题，其中的信息可能已经有所发展或是发生改变。
async/await 这个协程 异步为什么对磁盘 io 无效？
import asyncio
async def wr1(): # f = open('text1.txt','w') # for x in range(1,39999999): # f.write('12345ddd') # f.close()
f = open('text3.txt','r') print(f.read()) f.close() async def wr2(): # f = open('text2.txt','w') # for x in range(1,79999999): # f.write('23456fff') # f.close()
for x in range(1,519999): print('xx') async def wr3(): # f = open('text3.txt','w') # for x in range(1,99999999): # f.write('34567ggg') # f.close()
for x in range(1,919999): print('yy') def demo4():
async def washing1(): await wr1() async def washing2(): await wr2() async def washing3(): await wr3() # 1. 创建一个事件循环 loop = asyncio.get_event_loop() # 2. 将异步函数加入事件队列 tasks = [ washing1(), washing2(), washing3(), ] # 3. 执行事件队列, 直到最晚的一个事件被处理完毕后结束 loop.run_until_complete(asyncio.wait(tasks)) # 4. 如果不再使用 loop, 建议养成良好关闭的习惯 loop.close() if name == 'main': start = time()
demo4() end = time() print('elapsed time = ' + str(end - start)) 第一段是读取磁盘，第二第三段是打印。按道理遇到 io,dma 交出总线，cpu 就空运转直到有数据才工作，所以 wr1 应该和 2 或 3 一块执行才对的，而实际情况不是这样的，是跟单线程同步执行一样的所需时间
 | 1 lucays 2020-04-15 18:21:41 +08:00 washing1()，washing2()，washing3()不要 await wr1()，wr2(), wr3()这么搞，这样本来就和同步一样了 |
 | 2 lniwn 2020-04-15 18:22:48 +08:00  1 首先你得明白协程的概念，不是加个 async 修饰就能叫异步函数的。如果使用了 asyncio，那 io 以及 sleep 等操作，就要使用 asyncio 包内的封装函数。或者使用 executor 。 你的代码里 open 操作卡死整个线程，导致没法 yield 到其他协程，所以只能顺序执行。 |
 | 3 CosimoZi 2020-04-15 18:24:32 +08:00 3 不是你说他是协程它就是协程的,它得是协程它才是一个协程. https://github.com/Tinche/aiofiles |
 | 4 gwy15 2020-04-15 18:27:00 +08:00 在异步函数里面调用同步函数还是会阻塞的啊，你得用异步的文件接口。官方库里面没有，得用线程池，或者你自己造。 |
 | 5 iyaozhen 2020-04-15 18:44:56 +08:00 这就是 Python 这些语言半路出家搞协程的缺点 底层很多东西没有异步，不是简单加个 async 关键字就解决问题了 其实目前绝大部分异步方案都无法做到文件 IO 的异步，都是线程池去模拟的 |
| 6 iyaozhen 2020-04-15 18:46:26 +08:00 |
 | 7 janxin 2020-04-15 18:50:26 +08:00 via iPhone 需要选择支持异步功能的 io 库 |
 | 8 fghjghf OP |
 | 9 Trim21 2020-04-15 22:09:26 +08:00 网络 io 有原生协程，文件 io 要要协程只能用线程包起来，没法原生异步。 |
| 10 fghjghf OP @Trim21 不懂求解。 from tornado.web import RequestHandler from tornado import gen import tornado.ioloop class IndexHandler(RequestHandler): def get(self): self.write('this is index') class BlockingHandler(RequestHandler): async def get(self): result = await self.dosomething() self.write(result) async def dosomething(self): # 如果是其他处理函数或者逻辑，要保证函数是协程 await gen.sleep(20) return 'block end' app = tornado.web.Application([ (r"/index", IndexHandler), (r"/blocking", BlockingHandler) ]) if __name__ == "__main__": app.listen(80) tornado.ioloop.IOLoop.instance().start() 那 async/await 用在 tornado6 上有啥作用呢？一定要 asyncio 内包装的函数才有效。但 IOLoop 已经用 epoll 实现网络 io 复用了。实际应用中，堵塞的不都是磁盘 io 么。那这么做的目的又是啥呢 |
| 11 Trim21 2020-04-15 22:47:31 +08:00 @fghjghf #10 io 复用和异步 io 是两个概念吧，async/await 是为了解决 io 阻塞，不负责解决 io 是否复用的问题。 |
| 12 fghjghf OP @Trim21 但网络 io 的堵塞问题，封装 eopll 的 ioloop 已经帮我们处理了。底层有个队列。socket 非堵塞执行，epollin 和 out 的时候才能寻找对应路由表执行逻辑。EAGAIN 就 modify epoll 的状态，继续执行队列的下一个，如此类推。那就是能走到路由表的 client socket 的网络 io 绝对是可用的。根本不存在堵塞啊。那 tornado 上的 async/await 具体有啥作用呢，不知道我这理解有没有错 |
| 13 Trim21 2020-04-15 23:19:07 +08:00 @fghjghf #12 这个是 python 语言内的异步。之前 python 同步调用（比如 requests.get ）是没法在 io 阻塞的时候让出解释器的。 |
 | 14 PTLin 2020-04-15 23:33:36 +08:00 |
 | 15 lolizeppelin 2020-04-16 02:19:45 +08:00 没学会走就开始跑就这结果了 正正经经的把异步编程写几次,什么 select,epoll 多线程都好好用过几次再来折腾协程吧 别堕落到低端 php 程序员的水准好么 |
 | 16 neoblackcap 2020-04-16 03:00:36 +08:00 async/await 本质上是对 IO 复用机制的封装，系统提供的 IO 复用不能完成的事情，async/await 也不能实现。比如你想用底层是 epoll 实现的 eventloop 去处理文件 IO 那是不行的，要不就是模拟。 去读《 Unix 网络编程》吧，回来就会更好地理解这些语法 |
 | 17 dreamapple 2020-04-16 03:41:02 +08:00 via Android python 的异步不完备吧，现在没必要在上面浪费时间 |
 | 18 conn4575 2020-04-16 07:28:29 +08:00 via Android 官方 group 有讨论过这个问题，由于底层系统不支持，现在的异步本地 io 都是多线程包装的，实际的提升很小，所以 asycio 才没有做这个 |
 | 19 CzaOrz 2020-04-16 08:43:57 +08:00 --- async/await 这个协程 异步为什么对磁盘 io 无效？ 可以看看官网文档，明确说了对磁盘 IO 不支持，他们推荐 `loop.run_in_executor` |
 | 21 Orenoid 2020-04-16 09:48:54 +08:00 因为 python 的协程本质上是借助 IO 多路复用来实现异步的，磁盘 IO 没有相应的机制和接口 |
| 22 fghjghf OP @lolizeppelin 不看我上面的回复吗？张嘴就来？？？ |
 | 23 pmispig 2020-04-16 10:22:08 +08:00 python 的协程就是搞笑的，别花太多心思，底层大部分不支持。比如网络 io,你用 socket 弄到死都不能异步，你得用 asyncio.open_connection(host,22)， |
 | 24 ipwx 2020-04-16 10:23:39 +08:00 @pmispig ... asyncio.XXX 也是 socket 啊，不是 socket 库的才是 socket 啊。你这批判毫无道理啊。 |
| 26 pmispig 2020-04-16 10:27:04 +08:00 @ipwx 看你跟什么比，你用 go 的，最基础的 net.Conn 就是支持的，python 要是不能让 socket 支持，那异步有个毛用呢，现在这么多库都是基于 socket,得要人家全部重写 |
| 27 ipwx 2020-04-16 10:33:22 +08:00 |
 | 28 youxiachai 2020-04-16 10:35:37 +08:00 1 |
 | 29 sikong31 2020-04-16 11:10:54 +08:00 这需要库专门支持,比如 requests 不行得用 aiohttp 不像多线程,直接往里面放就行了,多线程该阻塞的还是阻塞,只不过不在一个线程 协程是阻塞的时候直接转向 loop 里的下一个任务,所以这里面就有一个操作,就是告诉系统你待会儿来找我, 普通的库并没有这个操作,只会让你等着 就像买东西,有些人你能打个招呼,待会等做完了来取东西,有些只能等着不能走 |
Select Language