数学基础
- 线性代数
- 概率论与随机过程
- 数值计算
- 蒙特卡洛方法与 MCMC 采样
- 机器学习方法概论
统计学习
深度学习
- 深度学习简介
- 深度前馈网络
- 反向传播算法
- 正则化
- 深度学习中的最优化问题
- 卷积神经网络
- CNN:图像分类
- 循环神经网络 RNN
- Transformer
- 一、Transformer [2017]
- 二、Universal Transformer [2018]
- 三、Transformer-XL [2019]
- 四、GPT1 [2018]
- 五、GPT2 [2019]
- 六、GPT3 [2020]
- 七、OPT [2022]
- 八、BERT [2018]
- 九、XLNet [2019]
- 十、RoBERTa [2019]
- 十一、ERNIE 1.0 [2019]
- 十二、ERNIE 2.0 [2019]
- 十三、ERNIE 3.0 [2021]
- 十四、ERNIE-Huawei [2019]
- 十五、MT-DNN [2019]
- 十六、BART [2019]
- 十七、mBART [2020]
- 十八、SpanBERT [2019]
- 十九、ALBERT [2019]
- 二十、UniLM [2019]
- 二十一、MASS [2019]
- 二十二、MacBERT [2019]
- 二十三、Fine-Tuning Language Models from Human Preferences [2019]
- 二十四 Learning to summarize from human feedback [2020]
- 二十五、InstructGPT [2022]
- 二十六、T5 [2020]
- 二十七、mT5 [2020]
- 二十八、ExT5 [2021]
- 二十九、Muppet [2021]
- 三十、Self-Attention with Relative Position Representations [2018]
- 三十一、USE [2018]
- 三十二、Sentence-BERT [2019]
- 三十三、SimCSE [2021]
- 三十四、BERT-Flow [2020]
- 三十五、BERT-Whitening [2021]
- 三十六、Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings [2019]
- 三十七、CERT [2020]
- 三十八、DeCLUTR [2020]
- 三十九、CLEAR [2020]
- 四十、ConSERT [2021]
- 四十一、Sentence-T5 [2021]
- 四十二、ULMFiT [2018]
- 四十三、Scaling Laws for Neural Language Models [2020]
- 四十四、Chinchilla [2022]
- 四十七、GLM-130B [2022]
- 四十八、GPT-NeoX-20B [2022]
- 四十九、Bloom [2022]
- 五十、PaLM [2022] (粗读)
- 五十一、PaLM2 [2023](粗读)
- 五十二、Self-Instruct [2022]
- 句子向量
- 词向量
- 传统CTR 预估模型
- CTR 预估模型
- 一、DSSM [2013]
- 二、FNN [2016]
- 三、PNN [2016]
- 四、DeepCrossing [2016]
- 五、Wide 和 Deep [2016]
- 六、DCN [2017]
- 七、DeepFM [2017]
- 八、NFM [2017]
- 九、AFM [2017]
- 十、xDeepFM [2018]
- 十一、ESMM [2018]
- 十二、DIN [2017]
- 十三、DIEN [2019]
- 十四、DSIN [2019]
- 十五、DICM [2017]
- 十六、DeepMCP [2019]
- 十七、MIMN [2019]
- 十八、DMR [2020]
- 十九、MiNet [2020]
- 二十、DSTN [2019]
- 二十一、BST [2019]
- 二十二、SIM [2020]
- 二十三、ESM2 [2019]
- 二十四、MV-DNN [2015]
- 二十五、CAN [2020]
- 二十六、AutoInt [2018]
- 二十七、Fi-GNN [2019]
- 二十八、FwFM [2018]
- 二十九、FM2 [2021]
- 三十、FiBiNET [2019]
- 三十一、AutoFIS [2020]
- 三十三、AFN [2020]
- 三十四、FGCNN [2019]
- 三十五、AutoCross [2019]
- 三十六、InterHAt [2020]
- 三十七、xDeepInt [2023]
- 三十九、AutoDis [2021]
- 四十、MDE [2020]
- 四十一、NIS [2020]
- 四十二、AutoEmb [2020]
- 四十三、AutoDim [2021]
- 四十四、PEP [2021]
- 四十五、DeepLight [2021]
- 图的表达
- 一、DeepWalk [2014]
- 二、LINE [2015]
- 三、GraRep [2015]
- 四、TADW [2015]
- 五、DNGR [2016]
- 六、Node2Vec [2016]
- 七、WALKLETS [2016]
- 八、SDNE [2016]
- 九、CANE [2017]
- 十、EOE [2017]
- 十一、metapath2vec [2017]
- 十二、GraphGAN [2018]
- 十三、struc2vec [2017]
- 十四、GraphWave [2018]
- 十五、NetMF [2017]
- 十六、NetSMF [2019]
- 十七、PTE [2015]
- 十八、HNE [2015]
- 十九、AANE [2017]
- 二十、LANE [2017]
- 二十一、MVE [2017]
- 二十二、PMNE [2017]
- 二十三、ANRL [2018]
- 二十四、DANE [2018]
- 二十五、HERec [2018]
- 二十六、GATNE [2019]
- 二十七、MNE [2018]
- 二十八、MVN2VEC [2018]
- 二十九、SNE [2018]
- 三十、ProNE [2019]
- Graph Embedding 综述
- 图神经网络
- 一、GNN [2009]
- 二、Spectral Networks 和 Deep Locally Connected Networks [2013]
- 三、Fast Localized Spectral Filtering On Graph [2016]
- 四、GCN [2016]
- 五、神经图指纹 [2015]
- 六、GGS-NN [2016]
- 七、PATCHY-SAN [2016]
- 八、GraphSAGE [2017]
- 九、GAT [2017]
- 十、R-GCN [2017]
- 十一、 AGCN [2018]
- 十二、FastGCN [2018]
- 十三、PinSage [2018]
- 十四、GCMC [2017]
- 十五、JK-Net [2018]
- 十六、PPNP [2018]
- 十七、VRGCN [2017]
- 十八、ClusterGCN [2019]
- 十九、LDS-GNN [2019]
- 二十、DIAL-GNN [2019]
- 二十一、HAN [2019]
- 二十二、HetGNN [2019]
- 二十三、HGT [2020]
- 二十四、GPT-GNN [2020]
- 二十五、Geom-GCN [2020]
- 二十六、Graph Network [2018]
- 二十七、GIN [2019]
- 二十八、MPNN [2017]
- 二十九、UniMP [2020]
- 三十、Correct and Smooth [2020]
- 三十一、LGCN [2018]
- 三十二、DGCNN [2018]
- 三十三、AS-GCN
- 三十四、DGI [2018]
- 三十五、DIFFPOLL [2018]
- 三十六、DCNN [2016]
- 三十七、IN [2016]
- 图神经网络 2
- 图神经网络 3
- 推荐算法(传统方法)
- 一、Tapestry [1992]
- 二、GroupLens [1994]
- 三、ItemBased CF [2001]
- 四、Amazon I-2-I CF [2003]
- 五、Slope One Rating-Based CF [2005]
- 六、Bipartite Network Projection [2007]
- 七、Implicit Feedback CF [2008]
- 八、PMF [2008]
- 九、SVD++ [2008]
- 十、MMMF 扩展 [2008]
- 十一、OCCF [2008]
- 十二、BPR [2009]
- 十三、MF for RS [2009]
- 十四、 Netflix BellKor Solution [2009]
- 推荐算法(神经网络方法 1)
- 一、MIND [2019](用于召回)
- 二、DNN For YouTube [2016]
- 三、Recommending What Video to Watch Next [2019]
- 四、ESAM [2020]
- 五、Facebook Embedding Based Retrieval [2020](用于检索)
- 六、Airbnb Search Ranking [2018]
- 七、MOBIUS [2019](用于召回)
- 八、TDM [2018](用于检索)
- 九、DR [2020](用于检索)
- 十、JTM [2019](用于检索)
- 十一、Pinterest Recommender System [2017]
- 十二、DLRM [2019]
- 十三、Applying Deep Learning To Airbnb Search [2018]
- 十四、Improving Deep Learning For Airbnb Search [2020]
- 十五、HOP-Rec [2018]
- 十六、NCF [2017]
- 十七、NGCF [2019]
- 十八、LightGCN [2020]
- 十九、Sampling-Bias-Corrected Neural Modeling [2019](检索)
- 二十、EGES [2018](Matching 阶段)
- 二十一、SDM [2019](Matching 阶段)
- 二十二、COLD [2020 ] (Pre-Ranking 模型)
- 二十三、ComiRec [2020](https://www.wenjiangs.com/doc/0b4e1736-ac78)
- 二十四、EdgeRec [2020]
- 二十五、DPSR [2020](检索)
- 二十六、PDN [2021](mathcing)
- 二十七、时空周期兴趣学习网络ST-PIL [2021]
- 推荐算法之序列推荐
- 一、FPMC [2010]
- 二、GRU4Rec [2015]
- 三、HRM [2015]
- 四、DREAM [2016]
- 五、Improved GRU4Rec [2016]
- 六、NARM [2017]
- 七、HRNN [2017]
- 八、RRN [2017]
- 九、Caser [2018]
- 十、p-RNN [2016]
- 十一、GRU4Rec Top-k Gains [2018]
- 十二、SASRec [2018]
- 十三、RUM [2018]
- 十四、SHAN [2018]
- 十五、Phased LSTM [2016]
- 十六、Time-LSTM [2017]
- 十七、STAMP [2018]
- 十八、Latent Cross [2018]
- 十九、CSRM [2019]
- 二十、SR-GNN [2019]
- 二十一、GC-SAN [2019]
- 二十二、BERT4Rec [2019]
- 二十三、MCPRN [2019]
- 二十四、RepeatNet [2019]
- 二十五、LINet(2019)
- 二十六、NextItNet [2019]
- 二十七、GCE-GNN [2020]
- 二十八、LESSR [2020]
- 二十九、HyperRec [2020]
- 三十、DHCN [2021]
- 三十一、TiSASRec [2020]
- 推荐算法(综述)
- 多任务学习
- 系统架构
- 实践方法论
- 深度强化学习 1
- 自动代码生成
工具
- CRF
- lightgbm
- xgboost
- scikit-learn
- spark
- numpy
- matplotlib
- pandas
- huggingface_transformer
- 一、Tokenizer
- 二、Datasets
- 三、Model
- 四、Trainer
- 五、Evaluator
- 六、Pipeline
- 七、Accelerate
- 八、Autoclass
- 九、应用
- 十、Gradio
Scala
- 环境搭建
- 基础知识
- 函数
- 类
- 样例类和模式匹配
- 测试和注解
- 集合 collection(一)
- 集合collection(二)
- 集成 Java
- 并发
二、API
2.1 基础类
class transformers.AutoConfig()
:通用的配置类。当用from_pretrained()
类方法创建时,它将被实例化为库中的一个configuration class
。这些不能直接使用
__init__()
进行实例化,否则会抛出异常。方法:
from_pretrained pretrained_model_name_or_path, **kwargs)
:从一个pretrained model configuration
中初始化一个configuration class
。要实例化的
configuration class
是根据被加载的配置对象的model_type
属性来选择的。或者当model_type
属性缺失时,通过回退到使用pretrained_model_name_or_path
的模式匹配。参数:
pretrained_model_name_or_path
:一个字符串或os.PathLike
对象,可以为:- 一个字符串,表示
huggingface.co
上的一个预训练模型的model id
。有效的model id
可以是root-level
,如bert-base-uncased
;也可以是组织名之下的,如dbmdz/bert-base-german-cased
。 - 一个目录的路径,该目录包含由
save_pretrained()
方法保存的配置文件。 - 一个路径或
url
,指向一个保存的configuration JSON file
。
- 一个字符串,表示
cache_dir
:一个字符串或os.PathLike
,指定下载的pretrained model configuration
要存放到哪里。force_download
:一个布尔值,默认为False
,指定是否强制重新下载模型权重和配置文件,如果存在的话,覆盖缓存的版本。resume_download
:一个布尔值,默认为False
,指定是否删除未完成的文件。默认的False
表示如果存在这样的文件,将尝试恢复下载。proxies
:一个字典,指定代理服务器。如{'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}
。这些代理将在每个请求中使用。use_auth_token
:一个字符串或布尔值,指定用于验证的token
。如果为True
则使用~/.huggingface
中存储的token
(由huggingface-cli login
所写入)。revision
:一个字符串,指定要使用的特定模型版本。它可以是一个branch name
、一个tag name
、 或一个commit id
。return_unused_kwargs
:一个布尔值,默认为False
。- 如果是
False
,那么这个函数只返回最终的配置对象。 - 如果是
True
,则该函数返回一个Tuple(config, unused_kwargs)
,其中unused_kwargs
是一个字典,由key
不是configuration
属性的键值对组成(即,kwargs
中未被用于更新config
的部分)。
- 如果是
trust_remote_code
:一个布尔值,默认为False
,指定是否允许在Hub
上定义的自定义模型在他们自己的modeling file
中。这将在你的本地机器上执行Hub
上存在的代码。kwargs
:关键字参数,这里的key/value
可以用于覆盖configuration
的属性。
class transformers.AutoTokenizer()
:通用的tokenizer
类。当用from_pretrained()
类方法创建时,它将被实例化为库中的一个tokenizer class
。这些不能直接使用
__init__()
进行实例化,否则会抛出异常。方法:
from_pretrained(pretrained_model_name_or_path, *inputs, **kwargs )
:从一个pretrained model vocabulary
中初始化一个tokenizer class
。要实例化的
tokenizer class
是根据配置对象的model_type
属性来选择的。或者当model_type
属性缺失时,通过回退到使用pretrained_model_name_or_path
的模式匹配。参数:
pretrained_model_name_or_path/cache_dir/force_download/resume_download/proxies/use_auth_token/revision/trust_remote_code/kwargs
:参考AutoConfig.from_pretrained()
。inputs
:额外的位置参数,将传递给Tokenizer.__init__()
方法。config
:一个PretrainedConfig
对象,指定configuration
对象,它用于决定初始化哪个tokenizer class
。subfolder
:一个字符串,如果相关文件位于huggingface.co
上model repo
的一个子文件夹内(例如facebook/rag-token-base
),请在此指定它。use_fast
:一个字符串,默认为True
。如果一个给定的模型支持fast Rust-based tokenizer
,就设为True
,否则设为False
(将返回一个普通的Python-based tokenizer
)。tokenizer_type
:一个字符串,指定要加载的tokenizer
类型。
class transformers.AutoFeatureExtractor()
:通用的feature extractor
类。当用from_pretrained()
类方法创建时,它将被实例化为库中的一个feature extractor class
。这些不能直接使用
__init__()
进行实例化,否则会抛出异常。方法:
from_pretrained(pretrained_model_name_or_path, **kwargs)
:从一个pretrained model vocabulary
中初始化一个feature extractor class
。要实例化的
feature extractor class
是根据配置对象的model_type
属性来选择的。或者当model_type
属性缺失时,通过回退到使用pretrained_model_name_or_path
的模式匹配。参数:参考
AutoConfig.from_pretrained()
。
class transformers.AutoImageProcessor()
:通用的image processor
类。当用from_pretrained()
类方法创建时,它将被实例化为库中的一个image processor class
。这些不能直接使用
__init__()
进行实例化,否则会抛出异常。方法:
from_pretrained(pretrained_model_name_or_path, **kwargs)
:从一个pretrained model vocabulary
中初始化一个image processor class
。要实例化的
image processor class
是根据配置对象的model_type
属性来选择的。或者当model_type
属性缺失时,通过回退到使用pretrained_model_name_or_path
的模式匹配。参数:参考
AutoConfig.from_pretrained()
。
class transformers.AutoProcessor()
:通用的processor
类。当用from_pretrained()
类方法创建时,它将被实例化为库中的一个processor class
。这些不能直接使用
__init__()
进行实例化,否则会抛出异常。方法:
from_pretrained(pretrained_model_name_or_path, **kwargs)
:从一个pretrained model vocabulary
中初始化一个image processor class
。要实例化的
image processor class
是根据配置对象的model_type
属性来选择的。或者当model_type
属性缺失时,通过回退到使用pretrained_model_name_or_path
的模式匹配。参数:参考
AutoConfig.from_pretrained()
。
2.2 通用模型类
以下
AutoClass
可用于实例化一个没有特定specific head
的base model class
。- 这些不能直接使用
__init__()
进行实例化,否则会抛出异常。 - 默认情况下,创建的模型已经通过
model.eval()
被设置为评估模式,如dropout
模块被停用。如果希望训练模型,你应该首先用model.train()
将其设置回训练模式。
- 这些不能直接使用
class transformers.AutoModel(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个base model class
。方法:
from_config(**kwargs)
:从一个configuration
中实例化一个base model class
。参数:
config
:一个PretrainedConfig
对象,指定配置。注意:从一个模型的配置文件加载该模型并不加载模型的权重。它只影响到模型的配置。使用
from_pretrained()
来加载模型的权重。示例:
from transformers import AutoConfig, AutoModel # Download configuration from huggingface.co and cache config = AutoConfig.from_pretrained("bert-base-cased") model = AutoModel.from_config(config)
from_pretrained(*model_args, **kwargs)
:从一个pretrained model
中初始化一个base model class
。要实例化的
model class
是根据配置对象的model_type
属性来选择的。或者当model_type
属性缺失时,通过回退到使用pretrained_model_name_or_path
的模式匹配。参数:
pretrained_model_name_or_path/cache_dir/force_download/resume_download/proxies/revision/trust_remote_code/kwargs
:参考AutoConfig.from_pretrained()
。model_args
:位置参数,传递给底层模型的__init__()
方法。config
:一个PretrainedConfig
,指定模型的配置(而不是自动加载一个配置)。配置可以在以下情况下被自动加载:- 该模型是一个由
library
提供的模型(用预训练模型的model id
字符串加载)。 - 该模型是用
save_pretrained()
保存的,并通过提供save directory
而被重新加载。 - 该模型通过提供一个本地目录作为
pretrained_model_name_or_path
参数来加载,并在该目录中找到一个名为config.json
的configuration JSON file
。
- 该模型是一个由
state_dict
:一个字典,用于指定state dict
从而代替从保存的权重文件中加载的state dict
。此时意味着:如果你想从一个预训练的配置中创建一个模型,但加载你自己的权重。
from_tf
:一个布尔值,默认为False
,指定是否从TensorFlow checkpoint
保存文件中加载模型权重。如果
pretrained_model_name_or_path
是一个tensorflow index checkpoint
文件的路径或url
,那么from_tf
应该设为True
,并且应该提供一个配置对象作为config
参数。这种加载路径比使用所提供的转换脚本在PyTorch
模型中转换TensorFlow checkpoint
并在之后加载PyTorch
模型要慢。output_loading_info
:布尔值,默认为False
,指定是否同时返回一个包含缺失键、意外键、错误信息的字典。local_files_only
:一个布尔值,默认为False
,指定是否只查看本地文件(即,不尝试下载模型)。
class transformers.TFAutoModel(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个base model class
。方法:
from_config(**kwargs)
:参考AutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:从一个pretrained model
中初始化一个base model class
。要实例化的
model class
是根据配置对象的model_type
属性来选择的。或者当model_type
属性缺失时,通过回退到使用pretrained_model_name_or_path
的模式匹配。参数:
from_pt
:一个布尔值,默认为False
,指定是否从PyTorch checkpoint
保存文件中加载模型权重。如果
pretrained_model_name_or_path
是一个pytorch state_dict
文件的路径或url
,那么from_tf
应该设为True
,并且应该提供一个配置对象作为config
参数。这种加载路径比使用所提供的转换脚本在Tensorflow
模型中转换PyTorch model
并在之后加载Tensorflow
模型要慢。其它参数参考
AutoModel.from_pretrained()
。
class transformers.FlaxAutoModel(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个base model class
。方法:
from_config(**kwargs)
:参考TFAutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考TFAutoModel.from_pretrained()
。
2.3 通用 Pretraining 类
以下
AutoClass
可用于实例化一个带有pretraining head
的模型。- 这些不能直接使用
__init__()
进行实例化,否则会抛出异常。 - 默认情况下,创建的模型已经通过
model.eval()
被设置为评估模式,如dropout
模块被停用。如果希望训练模型,你应该首先用model.train()
将其设置回训练模式。
- 这些不能直接使用
class transformers.AutoModelForPreTraining/TFAutoModelForPreTraining/FlaxAutoModelForPreTraining(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有pretraining head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained()
。
2.4 NLP
以下的
auto class
用于自然语言处理任务。- 这些不能直接使用
__init__()
进行实例化,否则会抛出异常。 - 默认情况下,创建的模型已经通过
model.eval()
被设置为评估模式,如dropout
模块被停用。如果希望训练模型,你应该首先用model.train()
将其设置回训练模式。
- 这些不能直接使用
class transformers.AutoModelForCausalLM/TFAutoModelForCausalLM/FlaxAutoModelForCausalLM(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有causal language modeling head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained()
。
class transformers.AutoModelForMaskedLM/TFAutoModelForMaskedLM/FlaxAutoModelForMaskedLM(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有masked language modeling head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained()
。
class transformers.AutoModelForSeq2SeqLM/TFAutoModelForSeq2SeqLM/FlaxAutoModelForSeq2SeqLM(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有sequence-to-sequence language modeling head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained()
。
class transformers.AutoModelForSequenceClassification/TFAutoModelForSequenceClassification/FlaxAutoModelForSequenceClassification(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有sequence classification head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained()
。
class transformers.AutoModelForMultipleChoice/TFAutoModelForMultipleChoice/FlaxAutoModelForMultipleChoice(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有multiple choice head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained()
。
class transformers.AutoModelForNextSentencePrediction/TFAutoModelForNextSentencePrediction/FlaxAutoModelForNextSentencePrediction(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有next sentence prediction head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained()
。
class transformers.AutoModelForTokenClassification/TFAutoModelForTokenClassification/FlaxAutoModelForTokenClassification(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有token classification head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained()
。
class transformers.AutoModelForQuestionAnswering/TFAutoModelForQuestionAnswering/FlaxAutoModelForQuestionAnswering(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有question answering head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained()
。
2.5 计算机视觉
以下的
auto class
用于计算机视觉任务。- 这些不能直接使用
__init__()
进行实例化,否则会抛出异常。 - 默认情况下,创建的模型已经通过
model.eval()
被设置为评估模式,如dropout
模块被停用。如果希望训练模型,你应该首先用model.train()
将其设置回训练模式。
- 这些不能直接使用
class transformers.AutoModelForDepthEstimation(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有depth estimation head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel.from_pretrained()
。
class transformers.AutoModelForImageClassification/TFAutoModelForImageClassification/FlaxAutoModelForImageClassification(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有image classification head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained()
。
class transformers.AutoModelForVideoClassification(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有video classification head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel.from_pretrained()
。
class transformers.AutoModelForMaskedImageModeling(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有masked image modeling head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel.from_pretrained()
。
class transformers.AutoModelForObjectDetection(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有object detection head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel.from_pretrained()
。
class transformers.AutoModelForImageSegmentation(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有image segmentation head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel.from_pretrained()
。
class transformers.AutoModelForSemanticSegmentation/TFAutoModelForSemanticSegmentation(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有semantic segmentation head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel/TFAutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel/TFAutoModel.from_pretrained()
。
class transformers.AutoModelForInstanceSegmentation(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有instance segmentation head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel.from_pretrained()
。
class transformers.AutoModelForUniversalSegmentation(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有universal image segmentation head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel.from_pretrained()
。
class transformers.AutoModelForZeroShotObjectDetection(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有zero-shot object detection head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel.from_pretrained()
。
2.6 音频
以下的
auto class
用于音频任务。- 这些不能直接使用
__init__()
进行实例化,否则会抛出异常。 - 默认情况下,创建的模型已经通过
model.eval()
被设置为评估模式,如dropout
模块被停用。如果希望训练模型,你应该首先用model.train()
将其设置回训练模式。
- 这些不能直接使用
class transformers.AutoModelForAudioClassification(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有audio classification head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel.from_pretrained()
。
class transformers.AutoModelForAudioFrameClassification(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有audio frame (token) classification head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel.from_pretrained()
。
class transformers.AutoModelForCTC(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有connectionist temporal classification head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel.from_pretrained()
。
class transformers.AutoModelForSpeechSeq2Seq/TFAutoModelForSpeechSeq2Seq(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有sequence-to-sequence speech-to-text modeling head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel/TFAutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel/TFAutoModel.from_pretrained()
。
class transformers.AutoModelForAudioXVector(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有audio retrieval via x-vector head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel.from_pretrained()
。
2.7 多模态
以下的
auto class
用于多模态任务。- 这些不能直接使用
__init__()
进行实例化,否则会抛出异常。 - 默认情况下,创建的模型已经通过
model.eval()
被设置为评估模式,如dropout
模块被停用。如果希望训练模型,你应该首先用model.train()
将其设置回训练模式。
- 这些不能直接使用
class transformers.AutoModelForTableQuestionAnswering/TFAutoModelForTableQuestionAnswering(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有table question answering head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel/TFAutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel/TFAutoModel.from_pretrained()
。
class transformers.AutoModelForDocumentQuestionAnswering/TFAutoModelForDocumentQuestionAnswering(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有document question answering head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel/TFAutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel/TFAutoModel.from_pretrained()
。
class transformers.AutoModelForVisualQuestionAnswering(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有visual question answering head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel.from_pretrained()
。
class transformers.AutoModelForVision2Seq/TFAutoModelForVision2Seq/FlaxAutoModelForVision2Seq(*args, **kwargs)
:通用的model
类。当用from_pretrained()
类方法或from_config()
类方法创建时,它将被实例化为库中的一个带有vision-to-text modeling head
的model class
。方法:
from_config(**kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_config()
。from_pretrained(*model_args, **kwargs)
:参考AutoModel/TFAutoModel/FlaxAutoModel.from_pretrained()
。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论