KERAS模型在训练时恢复高验证精度，但是评估时准确性很低

Question

我正在尝试在keras.applications下训练简单的mobilenetv3small，如下所示，

base_model = keras.applications.MobileNetV3Small(
        input_shape= INPUT_SHAPE,
        alpha=.125,
        include_top=False,
        classes=1,
        dropout_rate = 0.2,
        weights=None)

    x = keras.layers.Flatten()(base_model.output)
    preds = keras.layers.Dense(1, activation="sigmoid")(x)
    model = keras.Model(inputs=base_model.input, outputs=preds)

 model.compile(loss="binary_crossentropy",
                optimizer='RMSprop',
                metrics=["binary_accuracy"])

train_datagen = ImageDataGenerator(
        rescale=1.0 / 255,
        rotation_range=40,
        horizontal_flip=True,
        vertical_flip=True,
    )

    train_generator = train_datagen.flow_from_directory(
        os.path.join(DATA_ROOT, 'train'),
        target_size=(56,56),
        batch_size=128,
        class_mode="binary",
    )


    validation_datagen = ImageDataGenerator(rescale=1.0 / 255)
    validation_generator = validation_datagen.flow_from_directory(
        os.path.join(DATA_ROOT, 'val'),
        target_size=(56,56),
        batch_size=128,
        class_mode="binary",
    )

    model_checkpoint_callback = keras.callbacks.ModelCheckpoint(
        filepath=SAVE_DIR,
        save_weights_only=True,
        monitor='val_binary_accuracy',
        mode='max',
        save_best_only=True)

    es_callback = keras.callbacks.EarlyStopping(patience=10)

    model.fit(train_generator,
                epochs=100,
                validation_data=validation_generator,
                callbacks=[model_checkpoint_callback, es_callback],
                shuffle=True)

当我训练模型时，我在0.94左右获得验证精度。但是，当我在完全相同的验证数据上调用model.evaluate时，精度变为0.48。当我调用model.predict的任何数据时，它会输出常数值0.51 ...

学习率，优化器或指标没有错。这里有什么问题？

---

编辑：

在训练后，

pred_results = model.evaluate(validation_generator)
print(pred_results)

它为我提供了1个时期训练的网络的输出：

6/6 [=================================================== binary_accuracy：0.8461

但是，当我使用model.save（）或tf.keras.models.save_model（）> tf.keras.models（）时，我将模型保存并加载模型时。输出成为这样的事情：

6/6 [====================================================== binary_accuracy：0.5028 [0.6935192346572876，0.5027709603309631]

和model.dredict.predict（validation_generator） is的输出

[[0.5080832] [0.5080832] [0.5080832] [0.5080832] 。 。 。 [0.5080832] [0.5080832]

---

我到目前为止尝试过的

1. ：
2. 全球张量子和Numpy种子。
3. 在另一个 so so post 中，发现了类似的问题。并减少动量 Mobilenet batchnoralization层的参数一一。

for layer in model.layers[0].layers:
    if type(layer) is tf.keras.layers.BatchNormalization:
        layer.momentum = 0.9

前两个动作没有效果，在应用第三步之后，我对任何输入都不再获得相同的预测。但是，estaution（）和predict（）仍然具有不同的精度值。

Answer 1

您是否尝试过设置shuffle = false in validation_datagen.flow_from_directory（）？这有点具有误导性，但是.flow_from_directory（）方法默认情况下会随机混乱，在生成验证数据集时，这是有问题的。当您尝试调用.predict时，这将使您的验证数据改组。尽管在您的培训循环中，.fit方法隐含地不会使验证集进行洗牌。

我之所以认为这是问题，是因为您在验证集网络上呼叫.predict（）二进制交叉熵损失），如果您（错误地）将验证数据改组，这是非常有意义的。平衡数据集上未经训练的二进制分类器通常会达到50％的精度约为50％（0.5 f in 0，为1），因为这只是在猜测这一点。

Source ：我以前构建并培训了许多图像分类模型，这发生在我身上。

Answer 2

可能值得尝试model.save_weights（'Directory'），然后重建模型（我认为这里是通过base_model = ...代码重新运行的） model.load_weights（'Directory'）。这就是我在自己的型号中所做的，当我这样做时，保存和加载前后的准确性/损失保持完全相同。

Answer 3

如果您运行pred_results = model.evaluate（validation_generator）
适合模型后，此刻的重量是上次训练时期更新的权重。
您要做的是model.fit正在加载从
model_checkpoint_callback与类似

model = model.load_weights(SAVE_DIR)` # and then .evaluate
pred_results = model.evaluate(validation_generator)
print(pred_results)