如何在 Unity 中通过 gstreamer 从 c++ 正确接收视频发件人

Question

我正在尝试使用VideoWriter（使用WSL的c++端）使用Opencv传输流，以使用VideoCapture（Unity端）将其传输到网络上的另一台电脑上。

受此示例启发： https://opencv94.rssing.com/chan-61447116 /article1201-live.html

我想将 OpenCV 中的视频从 C++ 发送到 Unity。

所以我在 C++ 端有这段代码：

cv::VideoWriter writer;
    writer.open("appsrc ! videoconvert ! x264enc tune=zerolatency bitrate=500 speed-preset=superfast ! rtph264pay ! udpsink host=127.0.0.1 port=5000",
                        cv::CAP_GSTREAMER, 
                        0, 
                        5,
                        cv::Size (640, 480),
                        true);

当我运行 C++ 程序时，它可以工作，并且我可以使用编写器。

在统一方面，我有这个：

VideoCapture capture = new VideoCapture();
bool opened = capture.open("udpsrc port=5000 ! rtph264pay ! decodebin ! videoconvert ! appsink sync=false", Videoio.CAP_GSTREAMER);

但我总是在打开时出错，所以我无法连接到 c++。

我认为在这种情况下管道可能是错误的。

Unity 上真的可以接收来自 gstreamer 的视频吗？

注意：c++端是使用WSL ubuntu 18.06制作的

Answer 1

主要原因可能是您的发送方正在流式传输到端口 5000，而您的接收方尝试从端口 5200 读取数据。假设 unity 与 writer 是同一主机，您可以尝试：

发送方：

writer.open("appsrc ! videoconvert ! x264enc tune=zerolatency bitrate=500 speed-preset=superfast insert-vui=1 ! h264parse ! rtph264pay config-interval=1 ! udpsink host=127.0.0.1 port=5000 auto-multicast=0",
            cv::CAP_GSTREAMER, 
            0, 
            5.f,
            cv::Size (640, 480),
            true);

Unity 接收方：

[编辑：用户 @felipe 最终报告 2022 年 3 月 25 日 Unity 不支持 OpenCVForUnity]

bool opened = capture.open("udpsrc port=5000 ! application/x-rtp,encoding-name=H264 ! rtph264pay ! decodebin ! videoconvert ! appsink sync=false", Videoio.CAP_GSTREAMER);