使用 opencv 和 python 将 gstreamer 视频流式传输到不同的地址

Question

在我的最后一个问题中，我正在努力打开 gstreamer 管道来流式传输网络摄像头视频源，但在帮助下，我设法在同一台计算机上构建视频发送器和视频接收器。当尝试在另一台计算机上托管该视频流时，出现了一个新问题。 两台计算机都通过以太网连接，IP相同（当然最后一个数字不同）。 我的发件人代码：

sender.py

camset='v4l2src device=/dev/video0 ! video/x-raw,width=640,height=360,framerate=52/1 ! \
    nvvidconv flip-method=0 ! video/x-raw(memory:NVMM), format=I420, width=640, height=360 ! \
        nvvidconv ! video/x-raw, format=BGRx ! videoconvert ! video/x-raw, format=BGR ! queue ! appsink drop=1'



gst_str_rtp = "appsrc ! video/x-raw,format=BGR ! queue ! videoconvert ! video/x-raw,format=BGRx ! nvvidconv !\
     video/x-raw(memory:NVMM),format=NV12,width=640,height=360,framerate=52/1 ! nvv4l2h264enc insert-sps-pps=1 \
        insert-vui=1 idrinterval=30 ! h264parse ! rtph264pay ! udpsink host=169.254.84.12 port=5004 auto-multicast=0"
    

out = cv2.VideoWriter(gst_str_rtp, cv2.CAP_GSTREAMER, 0, float(52), (frame_width, frame_height), True)

cap = cv2.VideoCapture(camset,cv2.CAP_GSTREAMER)

if not cap.isOpened():
    print("Cannot capture from camera. Exiting.")
    quit()

# Check writer
if not out:
    print("Cannot write. Exiting.")
    quit()

# Go
while True:
    ret, frame = cap.read()
    if ret == False:
        break

    out.write(frame)
    cv2.imshow("sender", frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

在 gst_str_rtp 上我添加了主机，它是我想要将流发送到的计算机的 IP。

和我的接收者：

server.py

def main():
    global video_frame

    camSet='udpsrc address=169.254.84.12 port=5004 auto-multicast=0 ! application/x-rtp,media=video,encoding-name=H264 ! \
        rtpjitterbuffer latency=0 \
    ! rtph264depay ! decodebin ! nvvidconv ! video/x-raw,format=BGRx ! \
        videoconvert ! video/x-raw,format=BGR ! appsink drop=1'
    print("before capture")
    try:
        try:
            cap = cv2.VideoCapture(camSet)
        except:
            print("capture fail")
        while (cap.isOpened()):
            print("in loop")
            ret, frame = cap.read()
            try:
                cv2.imshow('stream',frame) 
            except:
                print("fail")

            #outvid.write(frame)
            if cv2.waitKey(1)==ord('q'):
                break
        cap.release()
    except:
        print("bad capture")
    
    cv2.destroyAllWindows()
    os._exit(0)
    exit()

if __name__ == '__main__':
    main()

我已经尝试过使用和不使用地址，但都不起作用。 如果我在同一台计算机上启动 server.py 和 sender.py （ubuntu 18.04（jetson NX）将始终是发送者）并将主机和地址更改为本地主机，则流可以正常工作，但是当尝试通过网络进行流时使用不同的 IP 地址，我在服务器端的视频捕获中不断收到 None 。

我所有的防火墙都已关闭 ** WireShark 显示发送方无法

source           destination   protocol length        info

169.254.84.2    169.254.84.12   UDP      1442         57170 → 5004 Len=1400

169.254.84.2    169.254.84.12   UDP      1442         57170 → 5004 Len=1400

169.254.84.2    169.254.84.12   UDP      1442         57170 → 5004 Len=1400

真正确定我还可以尝试什么，也许是由于某种原因不起作用的配置。 任何帮助将不胜感激

Answer 1

可能不是解决您的情况的解决方案，但是以下情况可能有助于找到问题：

1. 您将首先从终端检查：

gst-launch-1.0 -v udpsrc address=169.254.84.12 port=5004 auto-multicast=0 ! application/x-rtp,media=video,encoding-name=H264 ! rtpjitterbuffer latency=0 ! rtph264depay ! decodebin ! autovideosink

# For Windows add .exe
gst-launch-1.0.exe -v udpsrc address=169.254.84.12 port=5004 auto-multicast=0 ! application/x-rtp,media=video,encoding-name=H264 ! rtpjitterbuffer latency=0 ! rtph264depay ! decodebin ! autovideosink

如果这不起作用，则将使用命令发布输出。

如果有效，则可以安装Gstreamer，并且能够通过UDP接收和解码RTPH264流，因此下一步将是从OpenCV尝试。

2. 检查您的OPENCV LIB构建是否具有GSTREAMER支持。在Python中，您将尝试：

import cv2
print(cv2.getBuildInformation())

在输出中，如果您看到类似的内容：

    GStreamer:                   NO

那么您的OpENCV库没有GSTREAMER支持（如果可用，则可以使用另一个后端（例如FFMPEG）读取它）。

3. 仅在NVIDIA HW上运行时，仅使用NVVIDCONV。对于一般计算机，您可以使用：

udpsrc address=169.254.84.12 port=5004 auto-multicast=0 ! application/x-rtp,media=video,encoding-name=H264 ! rtpjitterbuffer latency=0 ! rtph264depay ! decodebin ! videoconvert ! video/x-raw,format=BGR ! appsink drop=1

4. 创建捕获时指定后端：

cap = cv2.VideoCapture(camSet, cv2.CAP_GSTREAMER)