在线程中写入sqlite db

Question

我是我的并发/平行性新手（仍在学习基础知识）的免责声明，并事先感谢。

我想：

1. 从API中提取数据将
2. 其写入文件中，
3. 将标志设置为sqlite数据库中的标志，所以我不再将其拉到

当前的单线螺纹过程

我的基本工作流程是：

import sqlite3, requests, tqdm, os, gzip
from ratelimit import limits, sleep_and_retry
DB = './my_db.sqlite3'

@sleep_and_retry
@limits(calls=9, period=1)
def download(job, conn):
    pk, url, is_downloaded = job
    res = requests.get(url)
    filename = BASE_DIR+f'/{pk}.txt.gz'
    if res.status_code == 200:
        os.makedirs(os.path.dirname(filename), exist_ok=True) 
        with gzip.open(filename, 'wb') as f:
            f.write(res.content)
        update_db(pk, conn)
    else:
        raise Exception('crawl error')

def update_db(pk, conn):
    with conn:
        c = conn.cursor()
        c.execute('''update my_table set is_downloaded = 1 where id = ?;''', (pk,))
        conn.commit()
    return

conn = sqlite3.connect(DB)
with tqdm.tqdm(total=len(jobs)) as progress:
      for job in jobs: 
        download(job, conn)
        progress.update()
conn.close()

这可能会缓慢运行对API和数据库的IO写道；我希望这可能会通过某种并发速度加快。我对此的理论/智慧以及实施有疑问。

实现问题

我尝试使用期货软件包来实现此问题：

import concurrent.futures

# Using same download and update_db funcs as above
conn = sqlite3.connect(DB)
futures = []
with tqdm.tqdm(total=len(jobs)) as progress:
    with concurrent.futures.ThreadPoolExecutor(max_workers=16) as exe:
        for job in jobs:
            f = exe.submit(download, job, conn)
            futures.append(f)
            f.add_done_callback(lambda x: progress.update()) 

        for f in concurrent.futures.as_completed(futures):
            if f.exception():
                raise Exception(f.exception())

当我在没有DB写入的情况下实施此功能时， 明显更快，这是放心。但是，当我在DB写入中添加时，它引发了一个例外：异常：在线程中创建的SQLite对象只能在同一线程中使用。该对象是在线程ID 4333387456中创建的，这是线程ID 6202470400。

在类似的多线程应用中写入DB的正确方法是什么？我读到sqlite 可以支持多读多inthreading，但不足以适应这意味着什么意味着什么：“前提是在两个或多个线程中没有同时使用单个数据库连接。”

理论问题

我仍然对多线程与多处理的差异感到困惑，尤其是在Python的GIL和我的用例中，大概是网络和磁盘 - I/O重。我相信多线程是正确的方法，并寻求确认。我在做右方法吗？

我读到 。如果是这种情况，为什么我会从我的sqlite客户端中获得错误，说例外：在线程中创建的sqlite对象只能在同一线程中使用。该对象是在线程ID 4333387456中创建的，这是线程ID 6202470400。？