AR_FaceTrack 头部跟踪 HeadTracking 介绍和使用

Question

头部跟踪（HeadTracking，俗称头瞄）是指利用传感器追踪使用者头部的运动，然后根据头部的姿势移动所显示的内容。广泛用于三维显示中的虚拟视角控制。

常见的头部跟踪系统包括以下方案：

• 基于 IMU 传感器直接记录头部动作的方案，包括商业化的 Aimxy 及使用手机模拟的 FreePIE IMU。主要缺点是使用者必须佩戴相关设备，有重量、充电等不便；
• 基于红外点跟踪的方案，如最著名的 TrackIR。TrackIR 可以说是当前头部跟踪系统的事实标准，但使用者仍需在头部佩戴主动或被动支架；
• 基于图像识别的方案，如商业化的 AimxyZ 及开源的 FaceTrackNoIR。图像识别完全消除了佩戴的不便，但由于图像处理所需运算量较大，大约需占用10%左右的 CPU 计算资源。

那么是否有一种设备既可以采集图像，又有较强的运算能力呢？当然有：智能手机。近年来有部分智能机上的APP开始开发头部跟踪功能，如 iOS 上的 Smart Head Track 及Android 上的 TrackAR 等。但在国内环境下，IPhone 普及率不高，而 Android APP 普遍依赖的 Google Play 在国内无法使用，导致国内玩家难以利用上述便利。

AR_FaceTrack 是解决上述问题的一个尝试，它在 Android 系统上运行，但不依赖 Google Play 服务，在国内环境下可以正常使用，为国内玩家提供低成本的头部跟踪解决方案。

安装说明

硬件要求

支持 Google ARCore 的安卓智能手机一部（支持的设备列表见官方文档）

软件安装

在 Android 手机上需要安装以下软件：

• Google ARCore（推荐通过小米应用商店、华为应用商店、OPPO 软件商店等搜索安装。若无法搜索到，大概率表示当前手机不支持）
• AR_FaceTrack（下载最新版的 .apk 文件）

在 PC 上需要安装以下软件：OpenTrack

使用说明

手机端配置

AR_FaceTrack 界面说明如下：

1. 当前跟踪状态。绿色表示正常跟踪，橙色表示无法跟踪；
2. 相机预览。当打开“显示相机预览"开关时此处显示当前捕获到的相机图像；
3. 显示相机预览开关。决定是否显示相机预览图像；
4. 显示调试信息开关。打开后在下方显示当前的 6DOF 坐标；
5. PC 端 IP 地址。在此输入运行 OpenTrack 的PC机的IP地址；
6. PC 端端口。在此输入PC 端的端口（OpenTrack 默认为 4242）；
7. 启用开关。打开后即开始向 PC 端发送头部跟踪数据；
8. 保存配置信息按钮。点击后可保存 PC 端IP地址及端口，下次打开 APP 时不必再次输入。

基本使用步骤如下：

1. 打开 APP
2. 输入 PC 端 OpenTrack 的IP地址及端口，点击保存配置信息按钮保存；（保存后下次不必输入）
3. 将手机放在支架上（可以横放或竖放，尽量垂直放置），前摄摄像头正对脸部。打开 显示相机预览 开关，调整手机位置，使得头部可能的运动范围都处于屏幕内，且 跟踪状态 显示为绿色；（相机预览打开与否不影响使用，仅为便于调整手机位置）
4. 点击启用开关开始发送跟踪数据

PC 端配置

OpenTrack 基本使用方法见 说明文档，这里只介绍与 AR_FaceTrack 相关的设置：

1. 输入：选择 UDP Over Network；
2. 输出：根据使用的软件选择。DCS 选择 freetrack 2.0 Enhanced；
3. 选项——输出——输出重新映射：这里默认手机是竖放。若手机横放需交换对应的轴；
4. 映射：根据实际需要调整映射曲线

设置完毕后点击 开始，再打开 DCS 等软件即可识别。软件中的输入设备显示为 TrackIR，可根据需要调整。

Release 下有示例的配置文件（适用于手机横放状态）可导入 OpenTrack 后参考修改。