使用需要锁定的词典使用多处理

Question

我正在尝试使用Python的多处理库来加快我拥有的一些代码。我有一个词典，其值需要根据循环的结果进行更新。当前的代码看起来像这样：

def get_topic_count():
    topics_to_counts = {}
    for news in tqdm.tqdm(RawNews.objects.all().iterator()):
        for topic in Topic.objects.filter(is_active=True):
            if topic.name not in topics_to_counts.keys():
                topics_to_counts[topic.name] = 0
            if topic.name.lower() in news.content.lower():
                topics_to_counts[topic.name] += 1
    for key, value in topics_to_counts.items():
        print(f"{key}: {value}")

我相信工人功能应该看起来像这样：

def get_topic_count_worker(news, topics_to_counts, lock):
    for topic in Topic.objects.filter(is_active=True):
        if topic.name not in topics_to_counts.keys():
            lock.acquire()
            topics_to_counts[topic.name] = 0
            lock.release()
        if topic.name.lower() in news.content.lower():
            lock.acquire()
            topics_to_counts[topic.name] += 1
            lock.release()

但是，我编写主要功能时遇到了一些麻烦。到目前为止，这是我所拥有的，但我一直在被杀死的信息我认为它使用的记忆太多。

def get_topic_count_master():
    topics_to_counts = {}
    raw_news = RawNews.objects.all().iterator()
    lock = multiprocessing.Lock()
    args = []
    for news in tqdm.tqdm(raw_news):
        args.append((news, topics_to_counts, lock))
    with multiprocessing.Pool() as p:
        p.starmap(get_topic_count_worker, args)
    for key, value in topics_to_counts.items():
        print(f"{key}: {value}")

这里的任何指导将不胜感激！

更新：大约有160万张记录需要通过。我该如何正确地块？

更新2：以下是一些示例数据：

​

​

topics = models.ManyToManyField('Topic', blank=True)

Answer 1

问题与数据库的限制有关。它加快了多线程的过程，但是数据库一次限制了100个ping。在任何给定时间增加此连接或最大数量到小于100的数字。