视频场景检测实现

Question

我正在寻找视频场景检测算法的实现。 用于实现的任何编程语言都是可接受的。 我发现这个 实现 但它对小变化且不准确。

Answer 1

另一种选择是托管视频理解嵌入模型。如果将您的视频分成 N 个片段，然后嵌入捕获动作、上下文等的每个片段，您可以执行语义查询，例如“接球”或“破冰”。

mixpeek 有一个模型 vuse-generic-v1： https://learn.mixpeek.com/ vuse-v1-release/

这是一个示例索引管道：

obj = {
    "embedding": mixpeek.embed.video(chunk, "mixpeek/vuse-generic-v1"),
    "tags": mixpeek.extract.video(chunk, ""),
    "description": mixpeek.extract.video(chunk, ""),
    "file_url": file_url,
    "parent_id": FileTools.uuid(),
    "metadata": {
        "time_start": chunk.start_time,
        "time_end": chunk.end_time,
        "duration": chunk.duration,
        "fps": chunk.fps,
        "video_codec": chunk.video_codec,
        "audio_codec": chunk.audio_codec
    }
}

并在对视频嵌入建立索引后进行查询：
embedding = mixpeek.embed("打破僵局", "vuse-generic-v1")

Answer 2

最后，我通过比较 2 个连续帧做了一个简单的实现：

1. 调整当前帧的大小：用于计算时间 + 内存
2. 生成 颜色调整大小后的帧的直方图
3. 计算当前帧与前一帧的欧几里得距离 。
4. 如果欧几里得距离大于给定阈值，则场景发生变化。

阈值因视频而异......但我得到了可以接受的结果。