使用当前的 spacy 版本重新训练自定义语言模型（兼容性问题）

Question

我已经安装了带有两种语言模型的 spacy： vi_spacy （不是我提供的），这是来自 的 spacy 自定义越南语语言模型这里的 Github 和日本的 ja_core_news_trf 模型。 我首先使用 python -m spacy download ja_core_news_trf 安装了 ja_core_news_trf 模型 在 anaconda 命令行中运行命令，它工作没有问题。然后，当我在命令行中使用 vi_spacy 安装并尝试它时，它起作用了。但当我尝试时，日本模型不再起作用了。

每次我收到此错误：

OSError: [E050] Can't find model 'ja_core_news_trf'. It doesn't seem to be a Python package or a valid path to a data directory.

即使当我输入 pip list 命令时，ja_core_news_trf 已安装。 经过调查，我发现 vi_spacy 仅适用于 spacy v3.0.8，但 ja_core_news_trf 需要 spaCy >=3.2.0，<3.3.0 并且与当前版本不兼容。输入 python -m spacy info 后，我收到此错误消息：

UserWarning: [W095] Model 'ja_core_news_trf' (3.2.0) requires spaCy >=3.2.0,<3.3.0 and is incompatible with the current version (3.0.8). This may lead to unexpected results or runtime errors. To resolve this, download a newer compatible model or retrain your custom model with the current spaCy version. For more details and available updates, run: python -m spacy validate

运行 python -m spacy validate 后，我收到此消息：

   ja_core_news_trf   >=3.2.0,<3.3.0   3.2.0     --> n/a
    vi_core_news_lg    >=3.0.5,<3.1.0   0.0.1     ✔

 The following packages are custom spaCy pipelines or not available for spaCy
v3.0.8:
ja_core_news_trf

那么我的问题如何使用当前的 spaCy 版本重新训练自定义越南模型？当然，我尝试联系开发商，但他没有回复，所以我想自己做，这是可能的。

Answer 1

在几乎所有情况下，spaCy v3 模型都与较新版本的 spaCy v3 向前兼容，因此请下载 ja_core_news_trf，然后使用 pip install --no-deps 安装越南模型，以便pip 不会安装旧版本的 spacy 作为依赖项。

您会在加载时收到一条警告，提示旧模型可能不兼容，但是在您的数据上进行测试，只要性能与旧版本的 spacy 相同，就应该没问题使用。

参阅：https://spacy.io/usage/v3-2#upgrading

请 仅当您有权访问原始训练数据时才能重新训练模型。