使用可访问性服务在屏幕上查找按钮或文本的坐标

Question

是否可以使用可访问性服务来查找按钮或屏幕上的文本的坐标，然后在该按钮或文本字段上模拟点击，但不要触摸字段，就像您需要触摸Android Talkback中的字段一样阅读？

例如，是否可以使用这样的可访问性服务：

1. 将活动的意图发送到可访问性服务，并提供一些用于不同任务的附加功能。

2. 在接收特定额外字符串的意图时，该服务将打开开发人员选项。

3. 无需触摸文本“运行服务”，可访问性服务应在开发人员选项中找到该文本字段（或按钮）坐标并模拟点击。

是否可以在Android上？

Answer 1

tl; dr;我想我已经写了服务您可能会发现有趣的

需要牢记的一些要点：

1. 您需要启用服务并运行它。
2. 如果Google是不打算帮助残疾人
3. 可访问性服务只能“查看”屏幕上的内容 - recyclerview s的问题是view> View> Viewholder是作为用户滚动的不同元素重复使用。

但是，您可以在可访问性服务中执行此操作：

    // To find a node by *fully qualified id*
    rootInActiveWindow.findAccessibilityNodeInfosByViewId("id criteria")

    // To find a node by text criteria
    rootInActiveWindow.findAccessibilityNodeInfosByText("text criteria")

id标准：

通过完全资格的视图ID的资源名称找到可访问性nodeinfos，其中完全合格的ID来自“ package：id/id_resource_name”。例如，如果目标应用程序的软件包为“ foo.bar”，并且ID资源名称为“ BAZ”，则完全合格的资源ID为“ foo.bar：id/baz”。

注意：此API的用法用于UI测试自动化，并且为了报告完全资格的视图ID，如果客户端必须在配置可访问性服务时，客户端必须设置cessientibilityServiceInfo＃flag_report_view_ids flag。

通过文本找到可访问性nodeinfos。比赛是情况不敏感的遏制。搜索是相对于此信息的，即此信息是遍历树的根。

注意两者：

注意：如果此视图层次结构具有SurfaceView通过SurfaceView＃SetChildSurfacePackage嵌入另一个视图层次结构，则有一个限制，该API将无法在嵌入式视图层次结构上找到视图的节点。这是因为视图不了解嵌入式层次结构。相反，您可以穿越所有的孩子找到节点。

要单击一个元素：

    fun click(long: Boolean = false) {
        someAccessibilityNodeInfoObject.performAction(
            if (long) ACTION_LONG_CLICK 
            else ACTION_CLICK
        )
    }

如果您真的很热衷于获取节点的屏幕坐标，则可以随时使用 getBoundsinscreen 方法，但随后您必须完成所有的数学和工作，这比需要的要困难。 ，但是我在bash 做adb uiautomator时做到了dump和解析XML，剥离我想要的节点的界限，只要使用uiautomator dump禁用可访问性服务。

MIDX= START_X + ((END_X - START_X) / 2)
MIDY= START_Y + ((END_Y - START_Y) / 2)