如何更改我的神经网络输入的维度？

Question

我想实现以下模型，用于从语音中验证说话者。从文件夹中读取 wav 文件后，我使用 log Mel 滤波器组能量来提取特征。现在，我想使用这个特征作为输入，但如图所示，输入特征必须是80，但1430适合我。在这里我必须使用批量大小来分割特征，或者我必须使用降维技术？ （我使用 python 和 pytorch 来实现）

我的前 4 层代码：

class NeuralNetwork(nn.Module):
    def __init__(self, num_class):
        super(NeuralNetwork, self).__init__()
        self.conv1 = nn.Sequential(nn.Conv2d(1, 80, T),
              BatchNorm2d(4),
              ReLU(inplace=True),
              MaxPool2d(kernel_size=2, stride=2))
        
       self.conv2 = nn.Sequential(nn.Conv2d(128, 40, T),
             BatchNorm2d(4),
             ReLU(inplace=True),
             MaxPool2d(kernel_size=2, stride=1))

       self.conv3 = nn.Sequential(nn.Conv2d(128, 40, T),
             BatchNorm2d(4),
             ReLU(inplace=True),
             MaxPool2d(kernel_size=2, stride=1))

        self.conv4 = nn.Sequential(nn.Conv2d(128, 40, T),
              BatchNorm2d(4),
              ReLU(inplace=True),
              MaxPool2d(kernel_size=2, stride=1))           

       self.conv5 = nn.Sequential(nn.Conv2d(128, 20, T = flatten),
             BatchNorm2d(4),
             ReLU(inplace=True),
             MaxPool2d(kernel_size=2, stride=2)) 

但是从音频中提取的特征维度不是 80，我不知道如何将其更改为 80。

Answer 1

我对Pytorch不太熟悉，我对TensorFlow的了解更多。但是我可以帮助您阅读文档。看来Pytorch需要知道输入和输出维度。通常， conv2d（i，o，（k1，k2））会修改尺寸的输入数据 b x i x h x h x w ，然后将其转换为诸如<<代码> B X O X（H-K1）X（W-K2）;其中 b 是batch_size。您似乎在错误的位置中有变量（例如， t 出现在宽度上），并且缺少 bk layer（我不知道那是什么或它的作用）。看来本文保持尺寸相同，因此您需要使用一些填充， padding =“ same” 。还请注意，内核确实会影响输入或输出尺寸（这很有意义；查找如何通过与高斯内核进行卷积来模糊图像）。您的图层应该看起来像：

# (B x 1 x 80 x T)
nn.Conv2d(1, C, (3,3), padding="same")
# (B x C x 80 x T)
BK_layer # I don't know what this does but it appears to cut the height in half.
# (B x C x 40 x T)
nn.Conv2d(C, C, (3,3), padding="same")
# (B x C x 40 x T)
ResBlock # I don't know what this does but it appears to not change the dimensions. 
# (B x C x 40 x T)
nn.Conv2d(C, C, (3,3), padding="same")
# (B x C x 40 x T)
ResBlock 
# (B x C x 40 x T)
nn.Conv2d(C, C, (3,3), padding="same")
# (B x C x 40 x T)
ResBlock 
# (B x C x 40 x T)
nn.Conv2d(C, C, (3,3), padding="same")
# (B x C x 40 x T)
BK_layer 
# (B x C x 20 x T) # got cut in half again
ECAPA-TDNN
# S x 1

我不知道ecapa-tdnn的相互作用如何达到 sx1 尺寸；但是它似乎涉及一些扁平化，听起来它涉及与多个堆栈的合并层。

为简单起见，我省略了激活层。我强烈建议您阅读有关与内核图像上的“卷动”的信息。当您了解如何通过图像进行卷积允许您检测边缘或模糊图像时，卷积层变得更有意义。 “高斯模糊”和“ NN卷积层”之间的区别在于，一个是固定的（通常是在GIMP或Photoshop中使用的按钮），而另一个是动态的，而随着网络学习的方式而变化。

如您所见，预期输入将<代码> 1 x 80 x t 。我不确定您期望如何适应1430。从添加填充物到删除值，使用其他图层等，有多种方法可以获取所需的形式。到 1 x 80 x 18 。