WPF - 在离屏渲染网格上模拟鼠标事件

Question

我将具有多个元素（按钮、文本框等）的 WPF 网格渲染为位图，然后将其用作 Direct3D 场景中 3D 表面的纹理。对于用户交互，我创建了一条从 2D 鼠标光标位置到 3D 场景的 3D 射线，找到与 GUI 表面的交点。所以我知道用户在 WPF 网格上单击了哪里，但从那里我陷入了困境：

如何在 WPF 元素上模拟鼠标事件，而它们实际上并未显示在打开的窗口中而是呈现在屏幕外？

最近，我正在研究 UIAutomation 和 RaiseEvent，但它们用于将事件发送到单个元素，而不是整个可视树。手动遍历树并在光标位置查找元素将是一种选择，但我还没有找到准确执行此操作的方法。 VisualTreeHelper.HitTest 是一个好的开始，但它不是找到 TextBox，而是找到 TextBoxView，而是找到 Border，而不是 ListBox。

编辑：在 HitTest 的结果回调中返回 HitTestResultBehavior.Continue 让我可以遍历给定点的所有元素。我现在可以将鼠标事件发送到所有这些元素，但 MouseEventArgs 对象的值是真实鼠标的值。所以我必须创建一个自定义的 MouseDevice，这显然是不可能的。

PointHitTestParameters p = new PointHitTestParameters(new Point(
    ((Vector2)hit).X * sourceElement.ActualWidth, 
    (1 - ((Vector2)hit).Y) * sourceElement.ActualHeight));
VisualTreeHelper.HitTest(sourceElement,
     new HitTestFilterCallback(delegate(DependencyObject o)
     {
         return HitTestFilterBehavior.Continue;
     }),
     new HitTestResultCallback(delegate(HitTestResult r)
     {
         UIElement el = r.VisualHit as UIElement;
         if (el != null)
         {
             MouseButtonEventArgs e = new MouseButtonEventArgs(Mouse.PrimaryDevice, 0, MouseButton.Left);
             if (leftMouseDown) e.RoutedEvent = Mouse.MouseDownEvent;
             else e.RoutedEvent = Mouse.MouseUpEvent;
             el.RaiseEvent(e);
         }
         return HitTestResultBehavior.Continue;
     }), p);

Answer 1

您可以通过 PostMessage(..) win32 方法将 Windows 消息（如 WM_MOUSEMOVE）发送到 WPF 窗口的 HWND。我相信这些消息将由 WPF 读取并执行，就好像它来自用户一样。

Answer 2

如果您真的很勇敢，您可以尝试 我的黑客访问 WPF IDirect3DDevice9Ex。从那里您可以将交换链中的后备缓冲区复制到 d3d 场景中。如果您使用 9Ex (Vista D3D9)，您可以利用共享资源（在设备和进程之间共享表面/纹理等）功能来帮助提高性能。

您可能仍然需要对 Windows 消息进行一些操作才能实现交互。