拥抱面Tfrobertamodel详细摘要

Question

from transformers import RobertaTokenizer, TFRobertaModel
import tensorflow as tf

tokenizer = RobertaTokenizer.from_pretrained("roberta-base")
model = TFRobertaModel.from_pretrained("roberta-base")

我想要此huggingface tfrobertamodel（）的详细层摘要，以便我可以在需要时可视化形状，层和自定义。但是，当我这样做时： model.summary（），它只是单层显示所有内容。我尝试挖掘它的不同属性，但无法获得详细的层摘要。可以这样做吗？

Model: "tf_roberta_model_2"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
roberta (TFRobertaMainLayer) multiple                  124645632 
=================================================================
Total params: 124,645,632
Trainable params: 124,645,632
Non-trainable params: 0
_________________________________________________________________

另外，还有一个相关的问题< /a>在尚未回答的拥抱面论坛中。

Answer 1

不完全是模型摘要，但是您可以打印这样的层：

from transformers import RobertaTokenizer, TFRobertaModel
import tensorflow as tf

tokenizer = RobertaTokenizer.from_pretrained("roberta-base")
model = TFRobertaModel.from_pretrained("roberta-base")

def print_layers(l, model):
  for idx, s in enumerate(l.submodules):
    if s.submodules:
      print_layers(s, model)
    print(s)

TFRobertaMainLayer = model.layers[0]   
print_layers(TFRobertaMainLayer, model)

您也可以使用s. weager来获取每一层的权重。