Bert 预测形状不等于 num_samples

Question

我有一个文本分类，我正在尝试使用bert进行。以下是我正在使用的代码。模型培训代码（下）效果很好，但我面临的预测部分面临着

from transformers import TFBertForSequenceClassification
import tensorflow as tf

# recommended learning rate for Adam 5e-5, 3e-5, 2e-5
learning_rate = 5e-5
nlabels = 26

# we will do just 1 epoch for illustration, though multiple epochs might be better as long as we will not overfit the model
number_of_epochs = 1


# model initialization
model = TFBertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=nlabels,
                                                      output_attentions=False,
                                                      output_hidden_states=False)

# optimizer Adam
optimizer = tf.keras.optimizers.Adam(learning_rate=learning_rate, epsilon=1e-08)

# we do not have one-hot vectors, we can use sparce categorical cross entropy and accuracy
loss = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)
metric = tf.keras.metrics.SparseCategoricalAccuracy('accuracy')
model.compile(optimizer=optimizer, loss=loss, metrics=[metric])

bert_history = model.fit(ds_tr_encoded, epochs=number_of_epochs)

我所面临的以下

preds = model.predict(ds_te_encoded)
pred_labels_idx = np.argmax(preds['logits'], axis=1)

问题的预测部分，这是pred_labels_idx的形状与<<代码> ds_te_encoded

len(pred_labels_idx) #426820
tf.data.experimental.cardinality(ds_te_encoded) #<tf.Tensor: shape=(), dtype=int64, numpy=21341>

不确定为什么会发生这种情况。

Answer 1

由于DS_TE_ENCODED是类型tf.data.dataSet，然后您调用cardination（...），您的案例中的基数只是舍入的。 批次的数量和不是样本的数量。因此，我假设您使用的批量大小为20，因为426820/20 = 21341。那可能是引起混乱的原因。