DocBin to_bytes/to_disk 被杀死

Question

我正在处理相当大的语料库，当我尝试保存它时，我的 DocBin 对象被杀死。 to_disk 和 to_bytes 都在打印“Killed”。

我的Python知识有限，所以我不清楚如何解决这个问题。你能帮忙吗？

这是我的代码（非常简单和基本）：

    nlp = spacy.blank("en")
    for text, annotations in train_data:
        doc = nlp(text)
        ents = []
        for start, end, label in eval(annotations)['entities']:
            span = doc.char_span(start, end, label=label)
            if (span is None):
                continue
            ents.append(span)   
        doc.ents = ents
        db.add(doc)

    db.to_disk("../Spacy/train.spacy")```

Answer 1

您的 RAM 可能已用完。相反，请将注释保存在多个 DocBin 文件中。如果您有多个 ，您可以使用 spacy train 为 --paths.train 提供目录，而不是单个 .spacy 文件。空间大的 文件。