预训练的语言模型:参数,数据,方法?
我正在研究预训练的LMS,特别是以下LMS:
- BERT
- ALBERT
- ROBERTA
- XLNET
- DISTILBERT
- BIGBIRD
- CONDBERT,
我正在寻找信息来比较这些LMS,例如:参数的数量,图层,数据。 。
换句话说
//i.sstatic.net/ailuo.png“ alt =“在此处输入图像说明”> ,
但我找不到在线信息!你能帮我吗?
谢谢。
I am doing a research on pre-trained LMs, specifically the following LMs:
- BERT
- ALBERT
- RoBERTa
- XLNet
- DistilBERT
- BigBird
- ConvBERT
I am looking for information to compare these LMs like: number of parameters, layers, data on which they were pre-trained...
In other words, I want to extend the following table to the other LMs:
But I can't find information online! Can you please help me?
Thanks.
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论