仅使用预训练网络中的某些层进行迁移学习

Question

我正在建立一个人脸部分割到皮肤和非皮肤区域的模型。作为模型，我正在使用显示的模型/方法在这里末端的密集层，随着乙状结激活。该模型适合我的目的很好，给出了良好的骰子度量得分。该型号使用RESNET50的2个预训练层用作模型骨干用于特征检测。我已经阅读了几篇文章，书籍和代码，但找不到有关如何确定要选择哪个层进行特征提取的任何信息。 我将RESNET50体系结构与Xception进行了比较，并拾取了两个类似的层，取代了原始网络中的层（）并进行了培训。我得到了类似的结果，不要更好。 我有以下问题

1. 如何确定哪个层负责低级/高级功能？
2. 在训练时间和可训练参数的数量方面，仅使用预训练的层比使用完整的预训练网络更好吗？
3. 在哪里可以找到有关仅使用预训练网络层的更多信息？

这是快速审视的代码

def DeeplabV3Plus(image_size, num_classes):
    model_input = keras.Input(shape=(image_size, image_size, 3))
    resnet50 = keras.applications.ResNet50(
        weights="imagenet", include_top=False, input_tensor=model_input)
    x = resnet50.get_layer("conv4_block6_2_relu").output
    x = DilatedSpatialPyramidPooling(x)

    input_a = layers.UpSampling2D(size=(image_size // 4 // x.shape[1], image_size // 4 // x.shape[2]), interpolation="bilinear")(x)
    input_b = resnet50.get_layer("conv2_block3_2_relu").output
    input_b = convolution_block(input_b, num_filters=48, kernel_size=1)

    x = layers.Concatenate(axis=-1)([input_a, input_b])
    x = convolution_block(x)
    x = convolution_block(x)
    x = layers.UpSampling2D(size=(image_size // x.shape[1], image_size // x.shape[2]), interpolation="bilinear")(x)
    model_output = layers.Conv2D(num_classes, kernel_size=(1, 1), padding="same")(x)
    return keras.Model(inputs=model_input, outputs=model_output)

，这是我使用Xception层作为骨干的修改代码，

def DeeplabV3Plus(image_size, num_classes):
  model_input = keras.Input(shape=(image_size, image_size, 3))
 
  Xception_model = keras.applications.Xception(
              weights="imagenet", include_top=False, input_tensor=model_input)
  xception_x1 = Xception_model.get_layer("block9_sepconv3_act").output
  x = DilatedSpatialPyramidPooling(xception_x1)

  input_a = layers.UpSampling2D(size=(image_size // 4 // x.shape[1], image_size // 4 // x.shape[2]), interpolation="bilinear")(x)
  input_a = layers.AveragePooling2D(pool_size=(2, 2))(input_a)
  xception_x2 = Xception_model.get_layer("block4_sepconv1_act").output
  input_b = convolution_block(xception_x2, num_filters=256, kernel_size=1)

  x = layers.Concatenate(axis=-1)([input_a, input_b])
  x = convolution_block(x)
  x = convolution_block(x)
  x = layers.UpSampling2D(size=(image_size // x.shape[1], image_size // x.shape[2]),interpolation="bilinear")(x)
  x = layers.Conv2D(num_classes, kernel_size=(1, 1), padding="same")(x)
  model_output = layers.Dense(x.shape[2], activation='sigmoid')(x)
  return keras.Model(inputs=model_input, outputs=model_output)

谢谢！

Answer 1

1. 通常，第一层（更靠近输入的层）是负责学习高级功能的层，而最后一层是数据集/任务特定的。这就是为什么当转移学习时，您通常只想删除最后几层以将它们替换为可以解决您的特定问题的其他层。
2. 这取决于。传输整个网络，而不会删除或添加任何新层，基本上意味着网络不会学习任何新的东西（除非您不冻结图层 - 在这种情况下，您是在微调）。另一方面，如果您删除一些图层并添加了几层，那么可训练参数的数量仅取决于您刚刚添加的新图层。

我建议您要做的是：

1. 从预先训练的网络中删除几层，冻结这些层，并增加几层（甚至只有一层），
2. 以一定的学习率训练新网络（通常此学习率不是很好低）
3. 微调！：解冻所有层，降低学习率并重新培训整个网络