如何在 Android 中对非摄像头视频进行编码

Question

我正在开发一个 Android 应用程序，其中通过合成一系列动画帧来动态生成视频。我尝试使用 Android Media Recorder API 来实现此目的，但尚未找到一种方法让它接受非相机源作为输入。我一直在尝试使用 FFMPEG 端口（基于 Rockplayer 版本），但由于我将其用作编码器而不是解码器，因此遇到了缺少功能的困难。

该应用程序的 iPhone 版本使用 AVFoundation 框架中的 AVAssetWriter。

有没有更简单的方法来做到这一点，还是我只能用 FFMPEG 来解决它？

Answer 1

这可能会有所帮助（尽管请参阅有关分辨率的注释）：-

如何在 Android 中使用 FFMpeg 进行编码（使用 H263）

我不确定他们是否定制了 ffmpeg，如果是的话，他们可能能够提供有关移植更多内容的建议功能完整版本。

-安东尼

Answer 2

Opencv 有 ViewBase 类，它将来自相机的输入作为帧并将该帧表示为位图，您可以扩展 View 基类并使其供您自己使用，即使在 android 上安装 opencv 并不是很容易。

当您扩展 SampleCvViewBase 时，您将拥有以下功能，您可以使用它，但这是我能想到的最好的功能。

 @Override
protected Bitmap processFrame(VideoCapture capture) {


    capture.retrieve(picture, Highgui.CV_CAP_ANDROID_COLOR_FRAME_RGBA);



    if (Utils.matToBitmap(picture, bmp))
        return bmp;

    bmp.recycle();
    return null;


}

Answer 3

您可以使用名为 JCodec 的纯 Java 开源库 ( http://jcodec.org )。

它包含一个简单但有效的 H.264 编码器和 MP4 复用器。下面的类使用 JCodec 低级 API，应该是您所需要的（ CORRECTED ）：

    public class SequenceEncoder {
    private SeekableByteChannel ch;
    private Picture toEncode;
    private RgbToYuv420 transform;
    private H264Encoder encoder;
    private ArrayList<ByteBuffer> spsList;
    private ArrayList<ByteBuffer> ppsList;
    private CompressedTrack outTrack;
    private ByteBuffer _out;
    private int frameNo;
    private MP4Muxer muxer;

    public SequenceEncoder(File out) throws IOException {
        this.ch = NIOUtils.writableFileChannel(out);

        // Transform to convert between RGB and YUV
        transform = new RgbToYuv420(0, 0);

        // Muxer that will store the encoded frames
        muxer = new MP4Muxer(ch, Brand.MP4);

        // Add video track to muxer
        outTrack = muxer.addTrackForCompressed(TrackType.VIDEO, 25);

        // Allocate a buffer big enough to hold output frames
        _out = ByteBuffer.allocate(1920 * 1080 * 6);

        // Create an instance of encoder
        encoder = new H264Encoder();

        // Encoder extra data ( SPS, PPS ) to be stored in a special place of
        // MP4
        spsList = new ArrayList<ByteBuffer>();
        ppsList = new ArrayList<ByteBuffer>();

    }

    public void encodeImage(BufferedImage bi) throws IOException {
        if (toEncode == null) {
            toEncode = Picture.create(bi.getWidth(), bi.getHeight(), ColorSpace.YUV420);
        }

        // Perform conversion
        for (int i = 0; i < 3; i++)
            Arrays.fill(toEncode.getData()[i], 0);
        transform.transform(AWTUtil.fromBufferedImage(bi), toEncode);

        // Encode image into H.264 frame, the result is stored in '_out' buffer
        _out.clear();
        ByteBuffer result = encoder.encodeFrame(_out, toEncode);

        // Based on the frame above form correct MP4 packet
        spsList.clear();
        ppsList.clear();
        H264Utils.encodeMOVPacket(result, spsList, ppsList);

        // Add packet to video track
        outTrack.addFrame(new MP4Packet(result, frameNo, 25, 1, frameNo, true, null, frameNo, 0));

        frameNo++;
    }

    public void finish() throws IOException {
        // Push saved SPS/PPS to a special storage in MP4
        outTrack.addSampleEntry(H264Utils.createMOVSampleEntry(spsList, ppsList));

        // Write MP4 header and finalize recording
        muxer.writeHeader();
        NIOUtils.closeQuietly(ch);
    }

    public static void main(String[] args) throws IOException {
        SequenceEncoder encoder = new SequenceEncoder(new File("video.mp4"));
        for (int i = 1; i < 100; i++) {
            BufferedImage bi = ImageIO.read(new File(String.format("folder/img%08d.png", i)));
            encoder.encodeImage(bi);
        }
        encoder.finish();
    }
}

您可以从 项目网站。