Question

让我们使用 BMC 2012 背景建模挑战数据集中的 真实视频 003 。

导入所需的库：

import imageio
imageio.plugins.ffmpeg.download()

'''
Imageio: 'ffmpeg.linux64' was not found on your computer; downloading it now.
Try 1. Download from https://github.com/imageio/imageio-binaries/raw/master/ffmpeg/ffmpeg.linux64 (27.2 MB)
Downloading: 8192/28549024 bytes (0.02260992/28549024 bytes (7.9%5455872/28549024 bytes (19.18790016/28549024 bytes (30.812189696/28549024 bytes (42.7%15687680/28549024 bytes (54.9%18898944/28549024 bytes (66.2%22134784/28549024 bytes (77.5%25518080/28549024 bytes (89.4%28549024/28549024 bytes (100.0%)
  Done
File saved as /home/racheltho/.imageio/ffmpeg/ffmpeg.linux64.
'''

import moviepy.editor as mpe
import numpy as np
import scipy

%matplotlib inline
import matplotlib.pyplot as plt

np.set_printoptions(precision=4, suppress=True)

video = mpe.VideoFileClip("movie/Video_003.avi")

video.subclip(0,50).ipython_display(width=300)

'''
100%|█████████▉| 350/351 [00:00<00:00, 914.11it/s]
'''

video.duration

# 113.57

辅助方法

def create_data_matrix_from_video(clip, fps=5, scale=50):
    return np.vstack([scipy.misc.imresize(rgb2gray(clip.get_frame(i/float(fps))).astype(int), 
                      scale).flatten() for i in range(fps * int(clip.duration))]).T

def rgb2gray(rgb):
    return np.dot(rgb[...,:3], [0.299, 0.587, 0.114])

格式化数据

一个时刻的图像是 120 像素乘 160 像素（缩放时）。 我们可以将该图片展开为一个很高的列。 因此，我们不是拥有 120×160 的 2D 图像，而是拥有 1×19,200 的一列。

这不是人类可读的，但它很方便，因为它可以让我们将来自不同时间的图像叠加在一起，将视频全部放入 1 个矩阵中。 如果我们拍摄视频 100 秒，每隔百分之一秒一张图像（所以有 10,000 个不同的图像，每个图像来自不同的时间点），我们将拥有 10,000×19,200 的矩阵，代表视频！

scale = 0.50   # Adjust scale to change resolution of image
dims = (int(240 * scale), int(320 * scale))
fps = 60      # frames per second

M = create_data_matrix_from_video(video.subclip(0,100), fps, scale)
# M = np.load("movie/med_res_surveillance_matrix_60fps.npy")

print(dims, M.shape)

# (120, 160) (19200, 6000)

plt.imshow(np.reshape(M[:,140], dims), cmap='gray');

由于 create_data_from_matrix 有点慢，我们将保存矩阵。 通常，只要你的预处理步骤较慢，最好保存结果以备将来使用。

np.save("movie/med_res_surveillance_matrix_60fps.npy", M)

plt.figure(figsize=(12, 12))
plt.imshow(M[::3,:], cmap='gray')

# <matplotlib.image.AxesImage at 0x7f92be09d710>

问题：那些黑波浪线是什么？ 水平线是什么？