如何使用ARKIT跟踪快速移动的对象？

Question

我正在尝试在 iOS 上使用 Swift、SwiftUi 并使用 ARKit 和 RealityKit 构建一个应用程序。我希望该应用程序能够：

1. 检测足球
2. 检测足球球门
3. 跟踪射门时球的轨迹
4. 检测球何时/是否击中/传球球门

使用 ARKit 检测球和球门效果很好。然而，在运动中保持跟踪球是非常不可靠的。当球快速移动时，ARKit 根本无法检测到球。

我尝试使用以下教程来实现Apple Visions VNDetectTrajectoriesRequest，https://developer.apple.com/documentation/vision/identifying_trajectories_in_video，只要我不使用ARKit，它就可以工作。 DetectTrajectory 需要 CMSampleBuffer，而 ARKit 只返回 PixelBuffer，我无法解决这个问题并使其顺利工作（我尝试将 Pixelbuffer 转换为 CMSampleBuffer，但这导致应用程序速度太慢，实时无法使用） ）。即使我让它工作，它也不能解决我关于检测足球何时击中球门的问题。为此，我相信使用深度/ARkit 是必要的。

有没有人有一个快速跟踪的解决方案使用 ARKit 移动物体？

我快要放弃了，但我在 Youtube 上发现这个人正在使用 ARKit 检测球轨迹，https://www.youtube.com/watch?v=B4yfp1UmM5s。我已经写信给他，但到目前为止还没有收到回复。我已经尝试解决这个问题一个多星期了，但我找不到解决方案。请互联网，帮助我！

Answer 1

我认为这样的任务对于 2022 年的 iOS 设备来说是不可能的。

首先，我们假设足球的平均速度是 12 m/s，ARKit 和 Vision 以 60 fps 跟踪它。显然，任何以 12 m/s 速度移动的物体都很难以该帧速率进行定性跟踪。即使 MoCap 系统也至少使用 120 fps 来跟踪慢得多的运动。

其次，5秒内球大约移动了60米的距离。这是一个相当大的距离（用于检测/识别），在该距离内，像足球这样的小物体将无法被识别，特别是因为它在飞行过程中也会旋转。