如何在Julia中导入NLP模型（facebook bart Large mnli模型）？

Question

我想寻求帮助在 Julia 中导入 zero-shot-classification 的 bart-large-mnli 模型？

模型参考：https://metatext.io/models/facebook-bart-large -mnli

这是我想要移植到 Julia 的 python 示例：

from transformers import pipeline
classifier = pipeline("zero-shot-classification",
                      model="facebook/bart-large-mnli")
sequence_to_classify = "one day I will see the world"
candidate_labels = ['travel', 'cooking', 'dancing']
classifier(sequence_to_classify, candidate_labels)

预期输出：

{'sequence': 'one day I will see the world', 
 'labels': ['travel', 'dancing', 'cooking'], 
 'scores': [0.9938650727272034, 0.0032738070003688335, 0.002861041808500886]
}

请建议或建议针对此场景的解决方案。 期待大家的回应。谢谢！

Answer 1

不确定您想要的用例是什么，但如果您只想访问 Julia 代码中预训练的 Huggingface 模型输出，您可以使用 PyCall.jl 调用该 Python 代码并返回您感兴趣的字典。

也就是说，在 Julia 中，运行 py"""..."" 中的 python 代码“

julia> py"""
from transformers import pipeline
classifier = pipeline("zero-shot-classification",
                      model="facebook/bart-large-mnli")
sequence_to_classify = "one day I will see the world"
candidate_labels = ['travel', 'cooking', 'dancing']
output = classifier(sequence_to_classify, candidate_labels)
"""

那么Python 全局变量 output 可以通过 Julia 中的 py"output" 访问（Python dict 自动转换为 Julia Dict），就像

julia> py"output"
Dict{Any, Any} with 3 entries:
  "scores"   => [0.993865, 0.00327379, 0.00286104]
  "sequence" => "one day I will see the world"
  "labels"   => ["travel", "dancing", "cooking"]

您也可以通过在字符串后面放置 o 来将其作为 PyObject 获取，而无需自动类型转换：

julia> py"output"o
PyObject {
  'sequence': 'one day I will see the world', 
  'labels': ['travel', 'dancing', 'cooking'], 
  'scores': [0.9938650727272034, 0.0032737923320382833, 0.002861042506992817]
}

---

您还可以通过导入 python 包 transformers 来获得类似的东西code> 使用 PyCall 进入 Julia pyimport()，

using PyCall
transformers = PyCall.pyimport("transformers")
classifier = transformers.pipeline("zero-shot-classification", model="facebook/bart-large-mnli")
sequence_to_classify = "one day I will see the world"
candidate_labels = ["travel", "cooking", "dancing"]
output = classifier(sequence_to_classify, candidate_labels)

现在 Julia 对象 output 将是您想要的 Dict。