张量流的音频重采样层

Question

需要在自定义模型结构内重新采样音频信号。这种重采样任务不是一种可以在模型之外开发的前/后处理操作。换句话说，这种重采样是模型内部设计的一部分。然后，还需要为该层定义梯度操作。对于重采样操作，它将使用tensorflow I/O：

tfio.audio.resample

运行效果完美，可以方便地用作前/后处理单元；然而，它的实现（嵌入模型中的自定义层）具有挑战性，因为我不知道如何实现后向路径。

• 对于这样的一维信号重采样层应如何实现后向路径？
• 是否还有其他可用的开源一维信号重采样层？

PS，我尝试采用传统的上采样/池化层，但与实现其他重采样方法（例如基于 FFT 的重采样方法）的 tfio 相比不够准确。

为了获得更多理解，请查看：另一个问题< /a>

Answer 1

您必须告诉重新采样的目的，它可以通过多种方式完成，包括得出单信号，然后您可以用更小的正弦值来表示。

通过更改采样率，您可以节省数据空间 0.05 * tf.math.sin(audio[:5 * 22050]).numpy()

sec_1 = np.zeros((2750)) * tf.math。 sin(audio[0:2750]).numpy() 和

sec_2 = np.ones((2750)) * tf.math.sin(audio[2750:5500]).numpy()

[ 示例 ]:

import numpy as np
import tensorflow as tf

import matplotlib.pyplot as plt

contents = tf.io.read_file("F:\\temp\\Python\\Speech\\temple_of_love-sisters_of_mercy.wav")
audio, sample_rate = tf.audio.decode_wav(
    contents, desired_channels=-1, desired_samples=-1, name=None
)

print(audio)
print(sample_rate)

plt.plot(audio[:5 * 22050])
plt.show()
plt.close()

plt.plot(0.05 * tf.math.sin(audio[:5 * 22050]).numpy())
plt.show()
plt.close()

sec_1 = np.zeros((2750)) * tf.math.sin(audio[0:2750]).numpy()
sec_2 = np.ones((2750)) * tf.math.sin(audio[2750:5500]).numpy()


plt.plot(0.05 * tf.concat([sec_1, sec_2], 0).numpy())
plt.show()
plt.close()

[ 输出 ]:

array([[0.],
       [0.],
       [0.],
       ...,
       [0.],
       [0.],
       [0.]], dtype=float32)>, sample_rate=<tf.Tensor: shape=(), dtype=int32, numpy=22050>)

tf.Tensor(22050, shape=(), dtype=int32)