如何在 Flutter 中将（编码）像素组合成视频/直播流？

Question

我正在尝试使用 Flutter 制作一个类似于 OBS 的应用程序。

我试图使用 Flutter 引擎将小部件绘制到视频上 框架和屏幕，具有分离的层。

我想出了一个糟糕的方法，即：

• 使用 RenderRepaintBoundary 来获取特定区域的图像。
• 使用ffmpeg将这些.png系列合成为h.264编码的视频。
• （然后也许可以使用.mp4文件作为视频流发布？）

，这在实时性能和效率上显然是棒极了。

（相关代码）

// some_page.dart

int index = 0;

  Future<void> onTestPressed() async {
    int i = 0;
    while (i++ < 600) {
      try {
        var render = repaintKey.currentContext!.findRenderObject()
            as RenderRepaintBoundary;
        double dpr = window.devicePixelRatio;
        var byteData = await render
            .toImage(pixelRatio: dpr)
            .then((image) => image.toByteData(format: ImageByteFormat.png));

        var tempDir = await getTemporaryDirectory();
        var fileName = '${tempDir.path}/frame_${index++}';

        var bytes = byteData!.buffer.asUint8List();
        var file = File(fileName);
        if (!file.existsSync()) {
          file.createSync();
        }

        await file.writeAsBytes(bytes);
        // OpenFile.open(fileName);
      } catch (e) {
        if (kDebugMode) {
          print(e);
        }
      }
    }
  }