从音频渲染图像

Question

是否可以渲染音频文件的可视化？

也许使用 SoundManager2 / Canvas / HTML5 音频？ 你懂一些技术吗？

我想创建这样的东西：

Answer 1

通过 FFT 运行样本，然后将给定频率范围内的能量显示为给定点处的图形高度。您通常希望频率范围从左侧的 20 Hz 左右到右侧的采样率/2 左右（如果采样率超过 40 KHz，则为 20 KHz）。

不过我不太确定是否要在 JavaScript 中执行此操作。不要误会我的意思：JavaScript 完全能够实现 FFT——但我完全不确定是否可以实时实现。 OTOH，对于用户查看来说，每秒更新大约 5-10 次就可以了，这可能是一个更容易达到的目标。例如，每 200 毫秒更新 20 毫秒的样本可能是合理的希望，但我当然不能保证您能够跟上。

Answer 2

http://ajaxian.com/archives/amazing-audio- Sample-in-javascript-with-firefox

查看源代码以了解他们如何可视化音频

Answer 3

这还不可能，除非以二进制数据的形式获取音频并解压 MP3（不是 JavaScript 的强项），或者也许使用 Java 或 Flash 提取您需要的信息位（似乎是可能的）但这似乎也比我个人想要承担的更令人头痛）。

但您可能对 Dave Humphrey 的音频实验感兴趣，其中包括一些很酷的可视化内容。他通过修改浏览器源代码并重新编译来做到这一点，因此这对您来说显然不是一个现实的解决方案。但这些实验可能会导致将来向 元素添加新功能。

Answer 4

为此，您需要进行傅里叶变换（查找 FFT），这在 javascript 中会很慢，而且目前不可能实时进行。

如果您确实想在浏览器中执行此操作，我建议在 java/silverlight 中执行此操作，因为它们在浏览器中提供最快的数字处理速度。

Answer 5

您在这里有一些示例和教程：http://www.html5rocks.com/en/ tutorials/#webaudio

目前，它可以在最后的 Chrome 和最后的 Firefox（Opera？）中运行。

演示：http://www.chromeexperiments.com/tag/audio/

立即执行，对于网站的所有访问者，您可以检查通过 Flash“代理”访问音频数据的 SoundManagerV2.js http://www.schillmania.com/projects/soundmanager2/demo/api/ （他们已经在开发 HTML5 音频引擎，一旦主要浏览器实现它就会发布它）

您可以在画布上绘制 3 种不同的音频数据：波形、均衡器和峰值。

soundManager.defaultOptions.whileplaying = function() { // AUDIO analyzer !!!
    $document.trigger({ // DISPATCH ALL DATA RELATIVE TO AUDIO STREAM // AUDIO ANALYZER 
        type             : 'musicLoader:whileplaying',
        sound            : {
            position         : this.position,          // In milliseconds
            duration         : this.duration,
            waveformDataLeft : this.waveformData.left, // Array of 256 floating-point (three decimal place) values from -1 to 1
            waveformDataRight: this.waveformData.right,
            eqDataLeft       : this.eqData.left,       // Containing two arrays of 256 floating-point (three decimal place) values from 0 to 1
            eqDataRight      : this.eqData.right,      // ... , the result of an FFT on the waveform data. Can be used to draw a spectrum (frequency range)
            peakDataLeft     : this.peakData.left,     // Floating-point values ranging from 0 to 1, indicating "peak" (volume) level
            peakDataRight    : this.peakData.right
        }
    });
};

使用 HTML5，您可以获得：

var freqByteData = new Uint8Array(analyser.frequencyBinCount);
var timeByteData = new Uint8Array(analyser.frequencyBinCount);
function onaudioprocess() {
    analyser.getByteFrequencyData(freqByteData);
    analyser.getByteTimeDomainData(timeByteData);
    /* draw your canvas */
}

工作时间到了！ ;)