推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3280 天前的主题，其中的信息可能已经有所发展或是发生改变。
仔细看了下 requests 的官方文档,其中特别注明
"timeout 仅对连接过程有效，与响应体的下载无关。 timeout 并不是整个下载响应的时间限制，而是如果服务器在 timeout 秒内没有应答，将会引发一个异常（更精确地说，是在 timeout 秒内没有从基础套接字上接收到任何字节的数据时）"
现在遇到一个网站,响应时间非常快,但是"响应体的下载"非常慢,估计是防封策略故意设置的,这样我该如何应对呢?求老司机.
"timeout 仅对连接过程有效，与响应体的下载无关。 timeout 并不是整个下载响应的时间限制，而是如果服务器在 timeout 秒内没有应答，将会引发一个异常（更精确地说，是在 timeout 秒内没有从基础套接字上接收到任何字节的数据时）"
现在遇到一个网站,响应时间非常快,但是"响应体的下载"非常慢,估计是防封策略故意设置的,这样我该如何应对呢?求老司机.
 | 1 cxh116 2016-12-05 16:05:52 +08:00 via Android  1 比如你抓取某台国内机器的资源，因为是在国内，所以建立连接很快，但它带宽只有 1M ，所以下载响应体很慢。 |
 | 2 cloverstd 2016-12-05 16:06:39 +08:00 request 支持 stream 的方式，自己分片读，然后判断是否超时 |
 | 3 JianBingXia OP @cxh116 现在是响应体下载很慢,想设置一个超时,应该怎么做呢? |
| 4 JianBingXia OP @cloverstd 如果我想设置一个针对响应体的超时怎么办呢? |
| 5 cloverstd 2016-12-05 16:16:40 +08:00 1 @JianBingXia http://docs.python-requests.org/en/master/user/advanced/#streaming-requests started_time = time.time() timeout = 60 r = requests.get('http://httpbin.org/stream/20', stream=True) if r.encoding is None: r.encoding = 'utf-8' for line in r.iter_lines(decode_unicode=True): if time.time() - started_time > 60: print "timeout" break if line: print json.loads(line) |
| 6 JianBingXia OP @cloverstd 感谢~~~,难为了我一下午的问题貌似有着落了,ORZ |
 | 7 ibigbug 2016-12-05 22:44:23 +08:00 |
Select Language