python如何异步执行同步调用？

Question

q = queue.Queue()
def run()
    while True:
        url = q.get()
        res = requests.get(url)
        # 此处把结果返回
        
t1 = threading.Thread(target=run)
t1.start()
t2...
t3...

def req(url):
    q.put(url)
    # 此处等待执行完毕获取返回结果并return

# 正常调用
res = req(url)

简单来说就是把url放在一个队列里，由队列去发送请求，方便统一控制频率

在使用的时候和正常使用requests库一样，能满足这样的需求就可以

望各位不吝赐教啊

--
上一个问题：python 爬虫如何使用请求队列？

Answer 1

def req(url):
    resq = queue.Queue()
    q.put((url, resq))
    res = resq.get()
    # ...

def run():
    while True:
        url, resq = q.get()
        res = requests.get(url)
        resq.put(res)

另一种方法是用 multiprocessing.pool.ThreadPool，这个接口和 multiprocessing.Pool 一样，但是用的是 threading：

from multiprocessing.pool import ThreadPool

pool = ThreadPool(num_workers)

def req(url):
    res = pool.apply(requests.get, args=(url,))
    # ...

Answer 2

协程
生产者消费者模式

Answer 3

https://github.com/ray-projec...