使用Web Media Recorder API在前端进行实时语音识别和后端的Python

Question

我们要实施什么？

我们部署了一个AI模型来从麦克风流式传输音频，并将语音文本显示给用户。 this 。

使用了哪些技术？

• python用于后端和AI模型的
• 前端
• Web媒体录音机API对录制和配置Audio
• Websocket以连接到AI API的

情况是什么问题？

在前端，我尝试每秒将音频块作为INT16Array发送到后端。还要确保与麦克风和音频相关的所有内容都可以正常工作，在停止录制后，我只能以1s的持续时间下载音频的第一部分，这很明显。但是，当音频被打磨到后端时，它会变成一堆噪音！

这是录音得到处理时的React代码的一部分：

        useEffect(()=> {
      if (recorder === null) {
        if (isRecording) {
          requestRecorder().then(setRecorder, console.error);
        } else {
          return;
        }
      }
  
      // Manage recorder state.
      if (isRecording && recorder) {
        recorder.start();
      } else if (!isRecording && recorder) {
        recorder.stop();
      }
 
    // send the data every second
    const ineterval = setInterval(() => {
      if (recorder) {
        recorder.requestData();
      }
      }, 1000);

    // Obtain the audio when ready.
    const handleData = e => {
      setAudioURL(URL.createObjectURL(e.data));
      let audioData = []
      audioData.push(e.data)
      const audioBlob = new Blob(audioData, {'type' : 'audio/wav; codecs=0' })
      
      const instanceOfFileReader = new FileReader();
      instanceOfFileReader.readAsArrayBuffer(audioBlob);


      instanceOfFileReader.addEventListener("loadend", (event) => {
      console.log(event.target.result.byteLength);
      const arrayBuf = event.target.result
      const int16ArrNew = new Int16Array(arrayBuf, 0, Math.floor(arrayBuf.byteLength / 2));

            
      setJsonData(prevstate => ({...prevstate, 
      matrix: int16ArrNew,}))
      })

    };
    if (recorder) {
      recorder.addEventListener("dataavailable", handleData);
    }
    return () => {
      if (recorder) {
        recorder.removeEventListener("dataavailable", handleData)
        clearInterval(ineterval)
      }
  };
    }, [recorder, isRecording])

以前有人遇到过此问题吗？对此进行了大量研究，但没有发现任何解决问题。

Answer 1

刚刚检查了这个问题并笑了笑:)）。年。这年对我来说是一场真正的噩梦:)）。因此，只需将图书馆的名称放在将来会看到它的任何人。
无论您需要什么WebRTC，要实现实时过渡。对于实时记录，您可以简单地使用RecordRTC软件包并使用NPM安装它。配置不多，并且完全直接。