从屏幕截图生成视频源的替代方案

Question

我正在从事一个远程管理玩具项目。现在，我可以使用 Robot 类捕获屏幕截图并控制鼠标。屏幕截图是 BufferedImage 实例。

首先，我的要求： - 只有一个服务器和一个客户端。 - 性能很重要，因为客户端可能是 Android 应用程序。

我考虑过打开两个套接字连接，一个用于鼠标和系统命令，第二个用于视频源。

如何将屏幕截图转换为视频流？我应该将它们转换为已知的视频格式还是只发送一系列序列化图像就可以了？

压缩是另一个问题。根据我的初步测试，以全分辨率发送屏幕截图会导致帧速率较低。我认为我至少需要 24 fps 才能感知运动，因此我必须缩小规模并进行压缩。我可以将 BufferedImages 转换为 jpg 文件，然后设置压缩率，但我不想将文件存储在磁盘上，它们应该仅存在于 RAM 中。另一种可能性是将实例（表示未压缩的屏幕截图）序列化到 GZipOutputStream。正确的做法是什么？

总结一下：

• 如果您推荐“图像系列”方法，您将如何将它们序列化到套接字OutputStream？
• 如果您的建议是转换为已知的视频格式，哪些类或库可用？

提前致谢。

更新：我的测试，客户端和服务器在同一台机器上
- 全屏序列化 BufferedImages（仅尺寸、类型和 int[]），无压缩：1.9 fps。
-通过 GZip 流的全屏图像：2.6 fps。
-缩小图像（640 宽度）和 GZip 流：6.56 fps。
-全屏图像和 RLE 编码：4.14 fps。
-缩小图像和 RLE 编码：7.29 fps。

Answer 1

如果它只是屏幕截图，我不会使用视频压缩方案来压缩它们，很可能您不想要有损压缩（小文本等中的模糊细节是最常见的缺陷）。
为了获得可行的“远程桌面”感觉，请记住之前发送的屏幕截图并仅发送差异以获取下一个屏幕截图。如果帧之间没有任何（或很少）变化，那么这是非常有效的。
然而，它在某些情况下效果不佳，例如播放视频、游戏或在文档中大量滚动。

压缩两个 BufferedImage 之间的差异可以通过或多或少复杂的方法来完成，一种非常简单但相当有效的方法是简单地将一个图像从另一个图像中减去（在它们相同的地方都为零）并使用简单的 RLE 压缩结果（游程长度编码）。

降低颜色精度可用于进一步减少数据量（根据使用情况，您可以省略每个颜色通道的最低有效 N 位，因为如果将颜色从 24 位减少到 15 位，大多数 GUI 应用程序看起来并没有太大不同位）。

Answer 2

• 将屏幕分成网格方块（或条带）
• 仅在与之前的网格方块不同时发送网格方块

// server start

sendScreenMetaToClient(); // width, height, how many grid squares
...

// server loop ImageBuffer[] prevScrnGrid while(isRunning) {

ImageBuffer scrn = captureScreen();
ImageBuffer[] scrnGrid = screenToGrid(scrn);
for(int i = 0; i < scrnGrid.length; i++) {
    if(isSameImage(scrnGrid[i], prevScrnGrid[i]) == false) {
        prevScrnGrid[i] = scrnGrid[i];
        sendGridSquareToClient(i, scrnGrid[i]); // send the client a message saying it will get grid square (i) then send the bytes for grid square (i)
    }
} }

不要发送序列化的 java 对象，仅发送图像数据。

ByteArrayOutputStream imgBytes = new ByteArrayOutputStream();
ImageIO.write( bufferedImage, "jpg", imgBytes );
imgBytes.flush();

Answer 3

首先，我可能建议仅捕获屏幕的一小部分，而不是缩小尺寸并可能丢失信息，也许使用诸如滑动窗口之类的东西，可以通过用光标推动边缘来移动它。但这实际上只是一个小小的设计建议。

至于压缩，我认为一系列图像不会像体面的视频压缩方案那样单独压缩，特别是在这种情况下，帧可能在捕获之间保持一致。

一种选择是使用 Xuggle，它能够通过 Robot 以多种视频格式捕获桌面，但我不知道您是否可以使用它进行流式传输和解码。

要捕获 jpeg 并对其进行转换，您还可以使用 this。

不过，流式传输这些视频似乎有点复杂。

另外，似乎已废弃的 Java Media Framework 支持此功能。

老实说，我在这方面的知识并不出色，如果我浪费了您的时间，那么很抱歉，但看起来已经编译了一些关于使用 Xuggle 作为屏幕共享器的可行性的更有用的信息此处。这似乎也链接到他们自己对现有方法的注释。

如果它不需要是纯Java，我认为仅通过与本机屏幕捕获工具连接就可以更容易地使用...

毕竟，也许最简单的方法是将视频作为一系列jpeg 发送！如果你觉得有点疯狂，你总是可以实现你自己的压缩方案......

Answer 4

我认为您在问题中描述了一个很好的解决方案。将图像转换为 jpeg，但不要将它们作为文件写入磁盘。如果您希望它成为已知的视频格式，请使用 M-JPEG。 M-JPEG 是标准格式的 jpeg 帧流。许多数码相机，尤其是较旧的数码相机，都以这种格式保存视频。

您可以从此问题的答案中获取有关如何播放 M-JPEG 流的一些信息：Android 和 MJPEG

如果网络带宽是一个问题，那么您将需要使用帧间压缩系统，例如 MPEG-2、h.264 或类似系统。这比 M-JPEG 需要更多的处理，但效率更高。

Answer 5

如果您想获取 24fps 视频，那么没有理由不使用现代视频编解码器。为什么要尝试重新创建那个轮子？

Xuggler 可以很好地编码 h264 视频，听起来它可以很好地满足您的需求。