捕获每个 WPF MediaElement 帧

Question

有没有办法捕获每个 WPF MediaElement 帧？就像在每个渲染帧触发并允许我访问它的事件一样。如果 MediaElement 不提供此类功能，如何实现或我可以使用其他哪些控件？顺便说一句，是否有这样的控件或方法可以允许通过帧捕获进行离屏快速渲染媒体剪辑？ （这样我就可以尽快处理帧）

Answer 1

尝试我的 WPF MediaKit 项目。允许您使用 Media 在 WPF 中执行几乎所有操作。尝试一下 MediaDetector.cs，它允许您从媒体中的任何时间提取帧。它有点问题，因为我从来没有花很多时间在上面，但应该可以满足你的需要。

Answer 2

没有内置的WPF方式：

• MediaElement没有这个能力。
• BitmapDecoder 有 API 来请求此操作，但未实现使用 BitmapDecoder 从任意媒体中提取帧：它只能从一些动画位图格式（如 .gif）中提取帧。

我能够使用 DirectShow 从 .mpg、.wmv、.mov、.flv、.avi 和其他电影格式获取帧图像。我使用 DirectShow 的 COM 图形生成器接口构建了一个过滤器图形。生成的过滤器图对影片进行了解码，并将其连接到用 C# 编写的自定义渲染器过滤器。我的自定义过滤器接收帧数据并将其转换为 BitmapSource 对象以使用 BitmapSource.Create 进行显示。

DirectShow 解决方案表现得相当好，托管到非托管的转换没什么大不了的，但花了一段时间才弄清楚 DirectShow 图形构建的细节。

Answer 3

如果你发挥你的想象力，也许这个片段可以给你一些想法：

MediaPlayer player = new MediaPlayer();
player.Open(new Uri(_inputFilename));
player.ScrubbingEnabled = true;
DrawingVisual dv = new DrawingVisual();
for (int i = 0; i < session.FramesList.Count; i++)
{
    Frame f = session.FramesList[i];
    player.Position = new TimeSpan((long)(f.Time * 10000000));
    using (DrawingContext dc = dv.RenderOpen())
    {
        dc.DrawVideo(player, new Rect(0, 0, 1024, 576));
    }
    RenderTargetBitmap bmp = new RenderTargetBitmap(1024, 576, 96, 96, PixelFormats.Pbgra32);
    bmp.Render(dv);
    f.Thumbnail = bmp.GetAsFrozen() as ImageSource;
    framesListView.Dispatcher.Invoke(() => FramesList.Add(f));
}

Answer 4

您可以尝试此方法来输出任何 UI 元素，包括 WPF 中的 MediaElement

 public static void ConvertUiElementToBitmap(UIElement elt, string path)
        {
            double h = elt.RenderSize.Height;
            double w = elt.RenderSize.Width;
            if (h > 0)
            {
                PresentationSource source = PresentationSource.FromVisual(elt);
                RenderTargetBitmap rtb = new RenderTargetBitmap((int)w, (int)h, 96, 96, PixelFormats.Default);

                VisualBrush sourceBrush = new VisualBrush(elt);
                DrawingVisual drawingVisual = new DrawingVisual();
                DrawingContext drawingContext = drawingVisual.RenderOpen();
                using (drawingContext)
                {
                    drawingContext.DrawRectangle(sourceBrush, null, new Rect(new Point(0, 0),
                          new Point(w, h)));
                }
                rtb.Render(drawingVisual);

                // return rtb;
                var encoder = new PngBitmapEncoder();
                var outputFrame = BitmapFrame.Create(rtb);
                encoder.Frames.Add(outputFrame);

                using (var file = System.IO.File.OpenWrite(path))
                {
                    encoder.Save(file);
                }
            }
        }