我可以使用什么库在 Java Applet 中对视频进行编码？

Question

我想将用户在 Java Applet 中的交互记录为视频，发送（可能是流式传输）到我的服务器，以便上传到 Youtube（或类似网站）。 不需要高帧速率（每秒几帧就足够了）。

尽量减少使用的带宽是首选，因此将 jpeg 快照发送到服务器并在服务器端进行编码是我的最后手段。

是否有不需要本机代码的轻量级 Java 视频编码库？

Answer 1

我是java新手，所以不要认真对待这个:)

我想在java中进行视频编码的一个好的开始是Java 媒体框架。
我没有尝试过，所以我不知道他们对 flv 编码的支持是什么。

由于Flash Media Server是商业的，你不能使用Red5吗？
您将拥有一个 swf，而不是一个小程序，但由于 Flash Player 的普及程度相当广泛，您将获得更广泛的观众比例。

Alex 有一个很好的观点，既然你需要将视频上传到 youtube，为什么不使用他们的 API 呢？

哈

Answer 2

Xuggler 可用于对 Java 中的几乎任何格式进行编码，但需要安装本机组件用它。 易于使用的下载中没有提供小程序版本，但一些用户构建了 FFmpeg 和 Xuggler 的自定义版本，并在可下载应用程序中使用。 尝试向 xuggler-users 用户组询问，看看其他人是否会提供帮助。

Answer 3

您可以将图像编码为 H.264/MP4，这样就可以立即用于网络流媒体。 要在录制的同时上传它，您可以将序列分成小块，假设每个块有 25-100 张图像，然后将每个块作为单独的电影上传。

您可以使用纯 Java 来完成此操作，无需任何本机代码，只需使用 JCodec ( http://jcodec.org )。 这是一个您可以使用的方便的类：

public class SequenceEncoder {
    private SeekableByteChannel ch;
    private Picture toEncode;
    private RgbToYuv420 transform;
    private H264Encoder encoder;
    private ArrayList<ByteBuffer> spsList;
    private ArrayList<ByteBuffer> ppsList;
    private CompressedTrack outTrack;
    private ByteBuffer _out;
    private int frameNo;
    private MP4Muxer muxer;

    public SequenceEncoder(File out) throws IOException {
        this.ch = NIOUtils.writableFileChannel(out);

        // Transform to convert between RGB and YUV
        transform = new RgbToYuv420(0, 0);

        // Muxer that will store the encoded frames
        muxer = new MP4Muxer(ch, Brand.MP4);

        // Add video track to muxer
        outTrack = muxer.addTrackForCompressed(TrackType.VIDEO, 25);

        // Allocate a buffer big enough to hold output frames
        _out = ByteBuffer.allocate(1920 * 1080 * 6);

        // Create an instance of encoder
        encoder = new H264Encoder();

        // Encoder extra data ( SPS, PPS ) to be stored in a special place of
        // MP4
        spsList = new ArrayList<ByteBuffer>();
        ppsList = new ArrayList<ByteBuffer>();

    }

    public void encodeImage(BufferedImage bi) throws IOException {
        if (toEncode == null) {
            toEncode = Picture.create(bi.getWidth(), bi.getHeight(), ColorSpace.YUV420);
        }

        // Perform conversion
        transform.transform(AWTUtil.fromBufferedImage(bi), toEncode);

        // Encode image into H.264 frame, the result is stored in '_out' buffer
        _out.clear();
        ByteBuffer result = encoder.encodeFrame(_out, toEncode);

        // Based on the frame above form correct MP4 packet
        spsList.clear();
        ppsList.clear();
        H264Utils.encodeMOVPacket(result, spsList, ppsList);

        // Add packet to video track
        outTrack.addFrame(new MP4Packet(result, frameNo, 25, 1, frameNo, true, null, frameNo, 0));

        frameNo++;
    }

    public void finish() throws IOException {
        // Push saved SPS/PPS to a special storage in MP4
        outTrack.addSampleEntry(H264Utils.createMOVSampleEntry(spsList, ppsList));

        // Write MP4 header and finalize recording
        muxer.writeHeader();
        NIOUtils.closeQuietly(ch);
    }
}

Answer 4

为什么需要直接发送图片或视频形式？ 听起来带宽费用很大。 只需序列化并发送带有时间戳的 UI 事件流，然后重建用户稍后应该在服务器上看到的内容（一些视觉细节可能取决于用户的计算机/设置，但您的小程序无法获取它们无论如何，体面）。