服务器（PC）上的实时视频流来自机器人通过 UDP 发送的图像

Question

唔。我发现这似乎很有希望：

http://sourceforge.net/projects/mjpg-streamer/

---

好的。我将尝试清楚、详细地解释我正在尝试做的事情。

我有一个带有摄像头和 wifi 棒的小型人形机器人（这是机器人） 。机器人的 WiFi 棒平均 WiFi 传输速率为 1769KB/s。该机器人拥有 500Mhz CPU 和 256MB RAM，因此不足以进行任何严肃的计算（此外，机器人上已经运行了几个用于运动、视觉、声纳、语音等的模块）。

我有一台电脑，可以用来控制机器人。我试图让机器人在房间里走动，并观看机器人在电脑中看到的实时流视频。

我已经在工作了。机器人按照我希望的方式行走并用相机拍照。图像通过 UDP 协议发送到我接收图像的 PC（我已通过将传入图像保存在磁盘上来验证这一点）。

相机返回 YUV442 色彩空间中 640 x 480 像素的图像。我正在发送有损压缩 (JPEG) 的图像，因为我试图在 PC 上获得最佳的 FPS。我正在使用 PIL 库在机器人上进行 JPEG 压缩。

我的问题：

1. 有人可以给我一些关于如何将传入的 JPEG 图像转换为实时视频流的想法吗？我知道我需要一些视频编码器。您推荐哪种视频编码器？ FFMPEG 还是其他什么？我对视频流非常陌生，所以我想知道什么最适合这项任务。我更喜欢使用 Python 来编写这个，所以我更喜欢一些具有 Python API 的视频编码器或库。但我想如果这个库有一些好的命令行 API，它就不必使用 Python。

2. 我能从中得到的最好的 FPS 是什么？考虑到 1769KB/s 的平均 wifi 传输速率和图像的尺寸？我应该使用与 JPEG 不同的压缩吗？

3. 我很高兴看到任何代码示例。解释如何执行此操作的文章链接也很好。

一些代码示例。以下是我如何将 JPEG 图像从机器人发送到 PC（缩短的简化片段）。它在机器人上运行：

# lots of code here

UDPSock = socket(AF_INET,SOCK_DGRAM)

  while 1:
    image = camProxy.getImageLocal(nameId)
    size = (image[0], image[1])
    data = image[6]
    im = Image.fromstring("YCbCr", size, data)
    s = StringIO.StringIO()
    im.save(s, "JPEG")

    UDPSock.sendto(s.getvalue(), addr)

    camProxy.releaseImage(nameId)

  UDPSock.close()

  # lots of code here

以下是我在 PC 上接收图像的方式。它在 PC 上运行：

  # lots of code here

  UDPSock = socket(AF_INET,SOCK_DGRAM)
  UDPSock.bind(addr)

  while 1:
    data, addr = UDPSock.recvfrom(buf)
    # here I need to create a stream from the data
    # which contains JPEG image

  UDPSock.close()

  # lots of code here

Answer 1

检查你的第一个问题。尽管这里的解决方案使用非流式图片集。这可能有帮助。该示例使用 pyMedia。

• http://pymedia.org/tut/src/make_video.py.html

有些符合你想要的。

• http://code.google.com/p/mjpeg-stream-client/

如果您需要编辑二进制流：

• http://bitbucket.org/ haypo/hachoir/wiki/hachoir-parser

Answer 2

尝试 pyffmpeg 并测试每个可用的编解码器以获得最佳性能。您可能需要一个非常轻量级的编解码器，例如 Smoke 或低调的 H263 或 x264，并且您可能需要将分辨率降至 320x240。

您需要在视频编码和解码的延迟与所使用的带宽之间进行权衡，您可能会发现原始数据包的分辨率降至 160x120，以便进行快速场景分析，并且仅定期传输全帧。您还可以将原始、低延迟、低分辨率、高更新源与高压缩、高延迟、高分辨率、低更新源混合。