为什么编码表示不利于分类？

Question

给定一个预先训练的性能良好的自动编码器。当我在编码（由自动编码器生成）上训练分类器时，分类器的表现非常差。特别是，它比在正常输入（即未编码输入）上训练分类器要差得多。

然而，当我根据分类损失微调编码器时，分类器表现得相当好。

为什么编码表示不利于分类？

---

详细信息：我正在研究 CIFAR-100 并尝试对粗图像标签进行分类，即 20 个类别（但我认为在 CIFAR-10 上进行分类时我遇到了同样的问题）。分类器有 5 层，我使用 dropout：

classifier = tf.keras.Sequential([
            tf.keras.layers.Dense(512, 
                                  activation='relu',
                                  name='classifier_hidden_1'),
            tf.keras.layers.Dropout(0.2),
            tf.keras.layers.Dense(256, 
                                  activation='relu',
                                  name='classifier_hidden_2'),
            tf.keras.layers.Dense(128, 
                                  activation='relu',
                                  name='classifier_hidden_3'),
            tf.keras.layers.Dropout(0.2),
            tf.keras.layers.Dense(64, 
                                  activation='relu',
                                  name='classifier_hidden_4'),
            tf.keras.layers.Dense(num_classes, 
                                  activation=None,
                                  name='classifier_out'),
        ], name='classifier')