使用 ffmpeg 实时解码 Android 硬件编码的 H264 相机源

Question

正在尝试使用 Android 上的硬件 H264 编码器从相机创建视频，并使用 FFmpeg 混合音频（全部在 Android 手机本身上）

我 到目前为止已经完成的是将 H264 视频打包成 rtsp 数据包，并使用 VLC 对其进行解码（通过 UDP），所以我知道视频至少格式正确。但是，我无法将视频数据以它可以理解的格式转换为 ffmpeg。

我尝试将相同的 rtsp 数据包发送到本地主机上的端口 5006（通过 UDP），然后向 ffmpeg 提供 sdp 文件，该文件告诉如果我正确理解 rtsp 流，它会告诉您视频流进入哪个本地端口以及如何解码视频。然而，这不起作用，我无法诊断原因，因为 ffmpeg 只是坐在那里等待输入。

出于延迟和可扩展性的原因，我不能只是将视频和音频发送到服务器并在那里进行复用，它必须在电话上以尽可能轻量级的方式完成。

我想我正在寻找的是如何实现这一目标的建议。最佳解决方案是通过管道将打包的 H264 视频发送到 ffmpeg，但随后我无法发送 ffmpeg 的 sdp 解码视频所需的文件参数。

我可以根据要求提供更多信息，例如 ffmpeg 是如何为 Android 编译的，但我怀疑这是必要的。

哦，我启动 ffmpeg 的方式是通过命令行，如果可能的话，我真的宁愿避免使用 jni。

非常感谢您的帮助，谢谢。

Answer 1

您尝试过使用 java.lang.Runtime 吗？

String[] parameters = {"ffmpeg", "other", "args"};
Program program Runtime.getRuntime().exec(parameters);

InputStream in = program.getInputStream();
OutputStream out = program.getOutputStream();
InputStream err = program.getErrorStream();

然后写入 stdout 并从 stdin 和 stderr 读取。它不是管道，但它应该比使用网络接口更好。

Answer 2

有点晚了，但我认为这是一个很好的问题，但还没有一个好的答案。

如果您想从 Android 设备流式传输摄像头和麦克风，您有两种主要选择：Java 或 NDK 实现。

1. Java 实现。

我只想提一下这个想法，但基本上它是基于这些标准在 java 中实现 RTSP 服务器和 RTP 协议 实时流协议版本 2.0 和 H.264 视频的 RTP 有效负载格式。这项任务将是非常漫长和艰巨的。但如果您正在开发 PhP，那么拥有一个适用于 Android 的 RTSP Java 库可能会很好。

2. NDK 实现。

这是替代方案，包括各种解决方案。主要思想是在我们的 Android 应用程序中使用强大的 C 或 C++ 库。对于本例，FFmpeg。该库可以针对 Android 进行编译，并且可以支持各种体系结构。
这种方法的问题是您可能需要了解 Android NDK、C 和 C++ 才能完成此任务。

但还有一个替代方案。您可以包装 c 库并使用 FFmpeg。但如何呢？

例如使用FFmpeg Android，已经用x264、libass、fontconfig、freetype编译过了和 fribidi 并支持各种架构。但编程仍然很困难，如果你想实时流式传输，你需要处理文件描述符和输入/输出流。

从 Java 编程的角度来看，最好的选择是使用 JavaCV。 JavaCV 使用常用计算机视觉库中的包装器，其中包括：(OpenCV、FFmpeg 等，并提供实用程序类，使其功能更容易在 Java 平台上使用，包括（当然）Android。JavaCV

还附带硬件加速完整功能- 屏幕图像显示（CanvasFrame 和 GLCanvasFrame）、在多个内核上并行执行代码的易于使用的方法 (Parallel)、用户友好的几何和相机和投影仪的颜色校准（GeometricCalibrator、ProCamGeometricCalibrator、ProCamColorCalibrator）、特征点检测和匹配(ObjectFinder)，一组实现投影仪-相机系统直接图像对齐的类（主要是GNImageAligner、ProjectiveTransformer、ProjectiveColorTransformer< /code>、ProCamTransformer 和 ReflectanceInitializer）、斑点分析包 (Blobs) 以及其他JavaCV 类中的功能。其中一些类还具有 OpenCL 和 OpenGL 对应项，其名称以 CL 结尾或以 GL 开头，即：JavaCVCL、GLCanvasFrame等。

但是我们如何使用这个解决方案呢？

这里我们有一个使用 UDP 进行流传输的基本实现。

String streamURL = "udp://ip_destination:port";
recorder = new FFmpegFrameRecorder(streamURL, frameWidth, frameHeight, 1);
recorder.setInterleaved(false);
// video options //
recorder.setFormat("mpegts");
recorder.setVideoOption("tune", "zerolatency");
recorder.setVideoOption("preset", "ultrafast");
recorder.setVideoBitrate(5 * 1024 * 1024);
recorder.setFrameRate(30);
recorder.setSampleRate(AUDIO_SAMPLE_RATE);
recorder.setVideoCodec(AV_CODEC_ID_H264);
recorder.setAudioCodec(AV_CODEC_ID_AAC);

这部分代码展示了如何初始化称为记录器的 FFmpegFrameRecorder 对象。该对象将捕获并编码从相机获得的帧和从麦克风获得的样本。

如果您想在同一个 Android 应用程序中捕获预览，那么我们需要实现一个 CameraPreview 类，该类将转换从相机提供的原始数据，并为 FFmpegFrameRecorder 创建预览和帧。

请记住将 ip_destination 替换为要发送流的电脑或设备的 IP。例如，端口可以是 8080。

@Override
public Mat onCameraFrame(Mat mat)
{
    if (audioRecordRunnable == null) {
        startTime = System.currentTimeMillis();
        return mat;
    }
    if (recording && mat != null) {
        synchronized (semaphore) {
            try {
                Frame frame = converterToMat.convert(mat);
                long t = 1000 * (System.currentTimeMillis() - startTime);
                if (t > recorder.getTimestamp()) {
                    recorder.setTimestamp(t);
                }
                recorder.record(frame);
            } catch (FFmpegFrameRecorder.Exception e) {
                LogHelper.i(TAG, e.getMessage());
                e.printStackTrace();
            }
        }
    }
    return mat;
}

此方法显示了 onCameraFrame 方法的实现，该方法从相机获取 Mat（图片），并将其转换为 Frame 并由 FFmpegFrameRecorder 对象记录。

@Override
public void onSampleReady(ShortBuffer audioData)
{
    if (recorder == null) return;
    if (recording && audioData == null) return;

    try {
        long t = 1000 * (System.currentTimeMillis() - startTime);
        if (t > recorder.getTimestamp()) {
            recorder.setTimestamp(t);
        }
        LogHelper.e(TAG, "audioData: " + audioData);
        recorder.recordSamples(audioData);
    } catch (FFmpegFrameRecorder.Exception e) {
        LogHelper.v(TAG, e.getMessage());
        e.printStackTrace();
    }
}

与音频相同，audioData 是一个 ShortBuffer 对象，将由 FFmpegFrameRecorder 进行记录。

在 PC 或设备目标中，您可以运行以下命令来获取流。

ffplay udp://ip_source:port

ip_source 是传输摄像头和麦克风流的智能手机的 IP。端口必须是相同的 8080。

我在我的 github 存储库中创建了一个解决方案：UDPAVStreamer。

祝你好运