将一系列图像编码为视频

Question

如何在 Android 上从一系列图像/照片创建视频文件？ 现在的SDK可以实现吗？或者我需要一个编解码器库？

Answer 1

我同意马克的观点。 C/C++ 库包括 ffmpeg 此处 或 X264 此处。我不得不说我还没有发现它们或 Android NDK 易于使用，但这可能是因为我对 C/C++ 和 JNI 不太了解。如果您对此路线感兴趣，那么适用于 Android 的 RockPlayer 免费应用程序具有来自 ffmpeg 的预构建共享库，可供在 Android 上使用。他们声称这些库仅使用 LGPL 组件，但我想您必须对此感到满意。对于 Java，有一个 ffmpeg 端口（某种），毫不奇怪地称为 jffmpeg，您可以在 此处 但它仍然调用现有的 ffmpeg 框架的大部分内容，因此您又回到了 NDK 领域。可以使用 Java Media Framework (JMF) 将一系列图像转换为视频，但它具有以下缺点：

1. 视频格式数量有限。
2. 不生成可在大多数（如果不是全部）Android 手机（例如 H264 或 MPEG4）上播放的视频。
3. JMF 代码现在相当旧，很长时间没有进展，臃肿且结构不佳，因此可能存在未打包在 Android 中的额外 Java 依赖项。

我见过的另一个选项是 Adob​​e Air，但它的有效负载为 17Mb，一些用户对此有所抱怨。

Stack Overflow 上还有很多有关 ffmpeg 和 Android NDK 的其他问题。

祝项目顺利。

Answer 2

对此没有内置支持。您需要找到一些可以满足您需要的 Java 源代码，或者一些可以转换为库并通过 NDK 使用的 C/C++ 代码。或者，如果最终目标是将视频存储在服务器上，请上传图像/照片并让服务器创建视频。

Answer 3

ffmpeg 是您的救援护林员。您可以下载适用于 Android 的 FFMPEG 端口。请参阅问题Android 上的 FFmpeg 了解更多详细信息。

该端口支持几乎所有您需要的内容，包括格式 - 输入图像格式为 GIF、JPG、PNG、BMP 等，输出视频格式为 AVI、MP4（容器）以及多种编解码器。

Answer 4

您可以使用名为 JCodec ( http://jcodec.org ) 的免费开源库，其中包含一些流行的纯 Java 实现视频格式和编解码器，包括：H.264 ( AVC )、MPEG 1/2、Apple ProRes、JPEG、MP4 ( ISO BMF )、MPEG PS、MPEG TS、Matroska。
您可以使用下面利用 JCodec 低级 API 的 CORRECTED 类：

public class SequenceEncoder {
    private SeekableByteChannel ch;
    private Picture toEncode;
    private RgbToYuv420 transform;
    private H264Encoder encoder;
    private ArrayList<ByteBuffer> spsList;
    private ArrayList<ByteBuffer> ppsList;
    private CompressedTrack outTrack;
    private ByteBuffer _out;
    private int frameNo;
    private MP4Muxer muxer;

    public SequenceEncoder(File out) throws IOException {
        this.ch = NIOUtils.writableFileChannel(out);

        // Transform to convert between RGB and YUV
        transform = new RgbToYuv420(0, 0);

        // Muxer that will store the encoded frames
        muxer = new MP4Muxer(ch, Brand.MP4);

        // Add video track to muxer
        outTrack = muxer.addTrackForCompressed(TrackType.VIDEO, 25);

        // Allocate a buffer big enough to hold output frames
        _out = ByteBuffer.allocate(1920 * 1080 * 6);

        // Create an instance of encoder
        encoder = new H264Encoder();

        // Encoder extra data ( SPS, PPS ) to be stored in a special place of
        // MP4
        spsList = new ArrayList<ByteBuffer>();
        ppsList = new ArrayList<ByteBuffer>();

    }

    public void encodeImage(BufferedImage bi) throws IOException {
        if (toEncode == null) {
            toEncode = Picture.create(bi.getWidth(), bi.getHeight(), ColorSpace.YUV420);
        }

        // Perform conversion
        for (int i = 0; i < 3; i++)
            Arrays.fill(toEncode.getData()[i], 0);
        transform.transform(AWTUtil.fromBufferedImage(bi), toEncode);

        // Encode image into H.264 frame, the result is stored in '_out' buffer
        _out.clear();
        ByteBuffer result = encoder.encodeFrame(_out, toEncode);

        // Based on the frame above form correct MP4 packet
        spsList.clear();
        ppsList.clear();
        H264Utils.encodeMOVPacket(result, spsList, ppsList);

        // Add packet to video track
        outTrack.addFrame(new MP4Packet(result, frameNo, 25, 1, frameNo, true, null, frameNo, 0));

        frameNo++;
    }

    public void finish() throws IOException {
        // Push saved SPS/PPS to a special storage in MP4
        outTrack.addSampleEntry(H264Utils.createMOVSampleEntry(spsList, ppsList));

        // Write MP4 header and finalize recording
        muxer.writeHeader();
        NIOUtils.closeQuietly(ch);
    }

    public static void main(String[] args) throws IOException {
        SequenceEncoder encoder = new SequenceEncoder(new File("video.mp4"));
        for (int i = 1; i < 100; i++) {
            BufferedImage bi = ImageIO.read(new File(String.format("folder/img%08d.png", i)));
            encoder.encodeImage(bi);
        }
        encoder.finish();
    }
}