我知道 tornado 有 AsyncHttpClient,用它 + callback 肯定没错。
但是有的时候我用的可能是 SDK,比如 SDK 访问一个 API,一次 http 请求对面要 2 秒才能响应。
那么如果是 gevent,我理解他有猴子补丁,可以在我网络阻塞的时候,切到别的任务上工作,等到网络连接结束的时候,再切回来。
我的问题是:
tornado 是不是 不能在我使用基于 Http 的 SDK,或者 Requests 库的时候,自动识别我网络请求阻塞了,然后处理别的任务?
如果在 tornado 下不使用 AsyncHttpClient,达到我的目的呢?
搜了一圈谷歌,全是给我讲 io 多路复用和信号驱动,很少有提到这块相关的
1
locoz 2019-01-03 17:18:55 +08:00 1
用异步的 HTTPClient 库就可以了,比如 aiohttp。
如果你用的那个 SDK 本身没有用异步的库,那么你要么把他重写成异步的,要么用类似 asyncio.run_in_executor 的方式去运行。 |
2
janxin 2019-01-03 19:13:34 +08:00
不能自动把同步变成异步处理请求,除非是 gevent 那种猴子布丁。用 asyncio.run_in_executor 是新起线程去执行
|
4
zhengxiaowai 2019-01-03 19:47:55 +08:00 1
|
5
whx20202 OP @zhengxiaowai #4 感谢,对我来说明显第二种合适。
> 使用 gen.coroutine 装饰器编写异步函数,如果库本身不支持异步,那么响应任然是阻塞的。 第二种方法,ThreadPoolExecutor,起了一个另外的线程去做事情,能满足我的需求。 之前一直不敢用的原因是,不清楚这种方法,到底是不是在主线程里做的,如果是的那肯定不敢用了么。 现在看了这篇文章,大致明白了。 |
6
conn4575 2019-01-04 00:25:22 +08:00 via Android
尽量找支持 asyncio 的 sdk,使用 ThreadPoolExecutor 太多的话会主线程的轮循效率
|