返回介绍

数学基础

统计学习

深度学习

工具

Scala

一、基本概念

发布于 2023-07-17 23:38:23 字数 2216 浏览 0 评论 0 收藏 0

  1. Transformers 库中最基本的对象是 pipeline() 函数。它将模型与其必要的预处理和后处理步骤连接起来,使我们能够通过直接输入任何文本并获得最终的答案:

    
    from transformers import pipeline
    
    
    classifier = pipeline("sentiment-analysis")
    classifier("I've been waiting for a HuggingFace course my whole life.")
    # 或者多个句子
    classifier(
        ["I've been waiting for a HuggingFace course my whole life.", 
         "I hate this so much!"]
    )

    默认情况下,此 pipeline 选择一个特定的预训练模型,该模型已针对英语情感分析进行了微调。创建分类器对象时,将下载并缓存模型。如果你重新运行该命令,则将使用缓存的模型,无需再次下载模型。

  2. 将一些文本传递到 pipeline 时涉及三个主要步骤:

    • 文本被预处理为模型可以理解的格式。
    • 预处理的输入被传递给模型。
    • 模型处理后输出最终人类可以理解的结果。

  3. 目前一些可用的 pipeline 是:

    
    
    xxxxxxxxxx
    feature-extraction (get the vector representation of a text) fill-mask ner (named entity recognition) question-answering sentiment-analysis summarization text-generation translation zero-shot-classification
    • Zero-shot classification:直接用预训练好的模型进行分类,允许直接指定用于分类的标签,因此不必依赖预训练模型的标签。

      
      
      xxxxxxxxxx
      from transformers import pipeline classifier = pipeline("zero-shot-classification") classifier(

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文