如何正确使用openCV videoWriter在Python中使用Float32源数据类型编写单色视频？

Question

我正在尝试从Kinect传感器中存储来自多个源（颜色，深度和红外线）的视频文件。

这是我使用cv2.imshow命令可视化的图像 使用以下代码：

cv2.imshow("ir", ir / 65535.)
cv2.imshow("depth", depth / 4500.)
cv2.imshow("color", color)

ir和深度都是（高度，宽度）， float32 的数组。颜色是一个大小（高度，宽度，3）的数组，其中3是RGB频道， uint8 从0-255输入。由于IR和DEPTH的值很大，因此我们需要使用上面的代码将其标准化。该代码给出了上述数字。

现在，我想将一系列图像数组作为视频文件存储。我使用以下代码：

ir_video = cv2.VideoWriter('ir.mp4', cv2.VideoWriter_fourcc(*'MP42'), fps, (height, width), False)
depth_video = cv2.VideoWriter('depth.mp4', cv2.VideoWriter_fourcc(*'MP42'), fps, (height, width), False)
color_video = cv2.VideoWriter('color.mp4', cv2.VideoWriter_fourcc(*'MP42'), fps, (height, width), True)

for ir, depth, color in zip(ir_frames, depth_frames, color_frames):
    ir_video.write(ir / 65535.)
    depth_video.write(depth / 4500.)
    color_video.write(color)

ir_video.release()
depth_video.release()
color_video.release()

颜色视频效果很好，看起来与 cv2.imshow 命令非常相似。但是，IR和深度视频被损坏。所有0KB。 我试图将Fourcc代码更改为 cv2.videowriter_fourcc（*'mp4v'）。这次，IR保存了我可以播放的视频。但这与 cv2.imshow 结果有很大不同。它显示在这里。

我想知道如何与 cv2.imshow 命令正确保存结果。应该使用哪些Fourcc代码？多谢！

Answer 1

从OpenCV 4.7.0开始，可以写16位深度视频，请参阅添加了对此的支持。

对于 videoWriter 您必须：

• 指定 cap_ffmpeg ，因为目前似乎仅支持FFMPEG，
• 使用 ffv1
• cododec codecify { ，false} as params

videcapture videocapture （阅读）

• for
• videowriter_prop_depth，cv_16u， videowriter_prop_is_color {cap_prop_convert_rgb，false} as params
  请注意，这将打印出“ Videoio/ffmpeg：BGR转换关闭...”之类的警告。

但是，似乎有一些限制，请参见。

该拉的请求还添加了一个单位测试 videoWriter ＆amp; videocapture 往返。

Answer 2

问题注释中提供的解决方案将图像数据从 float32 转换为 uint8 ，这足以保存视频。但是，由于 uint8 仅能表示256个值，因此丢失了很多信息。这也是为什么源数据（IR和深度）为 float32 而不是 uint8 的原因 - 当颜色images> - 当保存为<时会丢失很多信息。代码> uint8 。因此，我提出了一个解决方案，将视频保存在 uint16 格式中，并使用 videoWriter 提交了该问题的作者。

首先，有必要将值从 float32 转换为 uint16 （范围0-65,535）。根据作者的代码，IR映像似乎已经属于该范围，因此只需要投射到 uint16 。但是，深度图像必须从其原始范围0-4,500到 uint16 范围进行标准化。该代码应放在作者提供的写入方法之前。

ir = ir.astype(np.uint16)
depth = (depth * (65_535.0 / 4500.0)).astype(np.uint16)

@marcono1234 提供了一个想法如何使用 opencv VideoWriter (since version 4.7.0) but didn't provide the Python code.我发现正确编程的编程并不容易，因此我提供了一个完全有效的示例，可以将其从网络摄像头读取图像，将其转换为单色图像16个深度并保存下来。运行以记录视频并使用键盘字母 Q 停止录制。最重要的部分显然是VideoWriter定义。

import cv2
import numpy as np

video_capture = cv2.VideoCapture(0)

if not video_capture.isOpened():
    print("Error reading video file")

video_width = int(video_capture.get(cv2.CAP_PROP_FRAME_WIDTH))
video_height = int(video_capture.get(cv2.CAP_PROP_FRAME_HEIGHT))

video_writer = cv2.VideoWriter(
    filename="video.mkv",
    apiPreference=cv2.CAP_FFMPEG,
    fourcc=cv2.VideoWriter_fourcc(*"FFV1"),
    fps=10.0,
    frameSize=(video_width, video_height),
    params=[
        cv2.VIDEOWRITER_PROP_DEPTH,
        cv2.CV_16U,
        cv2.VIDEOWRITER_PROP_IS_COLOR,
        0,  # false
    ],
)

while True:
    ret, frame = video_capture.read()
    if ret:
        # Convert the webcam image to mono 16-bit.
        frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        frame = frame.astype(np.uint16)
        frame *= 2 ** 8

        video_writer.write(frame)

        cv2.imshow('Frame', frame)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    else:
        break

video_capture.release()
video_writer.release()
cv2.destroyAllWindows()

为了使示例完成，您还想以某种方式阅读视频。 Here's again a fully working example of OpenCV videocapture 带有单色16位深度视频。

import cv2

video_capture = cv2.VideoCapture(
    filename="video.mkv",
    apiPreference=cv2.CAP_FFMPEG,
    params=[
        cv2.CAP_PROP_CONVERT_RGB,
        0,  # false
    ],
)

if not video_capture.isOpened():
    print("Error reading video file")

while True:
    ret, frame = video_capture.read()
    if ret:
        cv2.imshow('Frame', frame)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
    else:
        break

video_capture.release()
cv2.destroyAllWindows()

请注意，由于 ffv1 编码16位深度单声道视频的编码尚不那么普遍，因此每一个视频播放器都无法播放视频。 vlc Media Player 让此讨论支持它，因为版本3.0.18 ，一些改进也可能在释放时出现在版本4.0 中。

Answer 3

我使用其他深度摄像头（ORBBEC，ASUS XTION）和AFAIK VIDEOWRITER类的OpenCV类似的项目进行了类似项目的工作，这就是为什么您应该转换为8位的评论中建议的。您可以看一下