微调 bert 以进行抽象文本摘要
我正在使用 BERT（更具体地说是 araBert）进行阿拉伯语抽象文本摘要，但我不想从头开始训练所有参数。我正在寻找一种方法来冻结层，然后添加一些层（LSTM 或 Transformer 层）来根据我的数据训练模型。 我怎样才能做到这一点？ 因为从头开始训练模型需要大量的资源和时间。 感谢您提前的回答
尝试了 HuggingFace 方法来微调摘要任务，但它训练了所有参数。
I am using BERT (araBert to be more specific) for Arabic abstractive text summarization, but I don't want to train all the parameters from scratch. What I am looking for is a way to freeze the layers and then add some layers (LSTM or Transformer layers) to train the model on my data.
How can I accomplish that?
Because training the model from scratch takes a lot of resources and time.
Thanks for your answers in advance
Tried the HuggingFace approach for fine-tuning summarization task, but it trains all the parameters.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论