有什么好的 Python 库可以处理视频文件的帧吗？

Question

我正在寻找一个Python视频处理库，类似于PIL，我可以在其中迭代源视频的所有帧，访问每个帧的像素数据，绘制到每个帧并将结果保存为新的视频文件。

我发现了几个类似的问题，但它们现在已经很老了：

• 最佳视频操作Python 库？
• python 视频库

他们推荐 PyMedia 和 PyFFMPEG。 PyMedia 似乎相当过时（但可能仍然有效？），而 PyFFMPEG 虽然较新，但几乎没有文档。

我没能在 Ubuntu 10.10 上安装这些，在我继续之前，是否有：

a) 我应该看看更好的库？

b) 关于如何启动和运行其中任何一个的良好说明？

Answer 1

我经常需要同样的东西，据我所知，Python 中的绑定没有好的解决方案。

而且它并不像操纵视频文件的帧那么简单。现代视频文件格式不会一帧一帧地存储帧，而是使用“增量帧”，其中仅存储从一帧到另一帧的变化。其他考虑因素（例如具有可变帧速率的视频）使问题变得更加困难。

过去我使用以下命令从视频生成图像。

ffmpeg -i /path/to/file.mpg -an -r 30 -s 320x240 tmp%06d.jpg

其中 30 是目标帧速率，320x240 是图像尺寸，tmp%06d.jpg 是用于存储生成的 jpeg 的模式。然后，您可以使用 PIL 操作每个帧，并使用 mencoder 或 ffmpeg 将图像再次拼接到电影中：

ffmpeg -r 30 -i tmp%06d.jpg output.mpg

显然，您将丢失音轨。

Answer 2

我向你推荐scikit-video，这是我用过的最简单的Python视频处理库遇见了。

这是 scikit-video 项目网站上的官方介绍：

Scikit-video 专为使用 Python 轻松进行视频处理而设计。它以其他成功的 scikit（例如 scikit-learn 和 scikit-image）的精神为蓝本。 scikit-video 的开发人员知道存在用于操作视频的库，例如 PyFFmpeg、MoviePy、PyAV、imageIO 和 opencv。然而，尚未发现任何库可以为研究级视频处理工具提供一体化解决方案。

Answer 3

我一直在考虑使用 py.processing 进行类似的工作。它可以完成您要求的所有操作，但它是与处理的混合体。你本身并不是在编写 python 代码。不管怎样，它使得使用起来非常容易，但是有很多程序/解释开销，因此对电影进行实时修改可能会很慢。你说你想编辑文件，这样应该是可行的。

Answer 4

您可以使用我的 VidGear 视频处理 python 库的 WriteGear API 允许我们利用 FFmpeg 支持的几乎所有可用参数（帧率、比特率、编解码器） 、格式和大小、复用器、解复用器等） in 压缩模式，轻松灵活，同时它可以非常安静地稳健地处理错误/警告。

参数：

例如，要使用 H.264 使用编码器 x264 生成高质量视频，我们可以按如下方式调整其参数以生成无损输出视频：

 output_params = {"-vcodec":"libx264", "-crf": 0, "-preset": "fast", "tune": "zerolatency"} 

然后将此字典传递给 WriteGear，如下面给出的示例

基本使用示例

# import libraries
from vidgear.gears import WriteGear
import cv2

output_params = {"-vcodec":"libx264", "-crf": 0, "-preset": "fast"} #define (Codec,CRF,preset) FFmpeg tweak parameters for writer

stream = cv2.VideoCapture(0) #Open live webcam video stream on first index(i.e. 0) device

writer = WriteGear(output_filename = 'Output.mp4', compression_mode = True, logging = True, **output_params) #Define writer with output filename 'Output.mp4' 

# infinite loop
while True:

    (grabbed, frame) = stream.read()
    # read frames

    # check if frame empty
    if not grabbed:
        #if True break the infinite loop
        break


    # {do something with frame here}
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

    # write a modified frame to writer
        writer.write(gray) 

        # Show output window
    cv2.imshow("Output Frame", frame)

    key = cv2.waitKey(1) & 0xFF
    # check for 'q' key-press
    if key == ord("q"):
        #if 'q' key-pressed break out
        break

cv2.destroyAllWindows()
# close output window

stream.release()
# safely close video stream
writer.close()
# safely close writer

查看更多高级使用详细信息此处和完整文档此处

Answer 5

我发现 imageio 是最容易使用的 Python 视频操作库。
使逐帧读取视频、处理视频并将其保存回磁盘变得轻而易举。如今，作者还提供了一个易于在 Windows 中使用的 pip install ffmpeg 包装器， Linux 或 OSX。这里还有一个活跃的社区，在 [python-imageio] 标签下回答与库相关的问题。