如何使用 Java 读取/绘制/与另一个 Java 窗口/小程序交互

Question

我有兴趣编写一个执行以下操作的 Java 程序。

• 附加到当前正在运行的 Swing 窗口或小程序，在另一个 JVM 中运行
  • 或者，加载 Java 应用程序以便能够执行上述操作
• 从窗口读取颜色
• 将鼠标和键盘事件发送到窗口

我希望制作某种直接与 GUI 交互的测试和自动化工具。

我正在寻找有关如何完成上述所有步骤的一些建议。提前致谢。

Answer 1

捕获另一个进程的输出不会那么容易 - 如果您的测试应用程序在同一个 java VM 中直接启动 swing 应用程序，这将是最简单的。

然后，您可以在 JFrame 上调用 Paint(Graphics g)，向组件传递离屏图形 (BufferedImage - 详细信息请参见。）您可以通过 EventQueue.postEvent(AWTEvent) - 这可用于模拟 AWT 输入。

但是，您调查过现有的测试框架吗？ FEST 有一个专门用于操作和验证 UI 的测试框架。还有abbot，较老，受到一些人的青睐。还有一些测试框架专注于功能和状态，而不是屏幕抓取和输入事件。这些并不是更好/更差，而是互补的。
状态 UI 测试包括 SwingUnit 和 UISpec4J。

那里有很多好的框架，因此在构建另一个框架之前做一些研究可能是值得的！

编辑：
要启动应用程序，而不是运行

java -cp ... a.b.c.AppToTest

您

java -cp ... TestWrapper AppToTest

像这样运行并实现 TestWrapper

public class TestWrapper {
/* args[0] - class to launch. Remainder of args passed to launched app.*/
   public static void main(String[] args) throws Exception
   {
      Class app = Class.forName(args[0]);
      Method main = app.getDeclaredMethod("main", new Class[] { (new String[1]).getClass()});
      String[] appArgs = new String[args.length-1];
      System.arraycopy(args, 1, appArgs, 0, appArgs.length);
      main.invoke(null, appArgs);
      // now you have just launched another application inside the same VM
   }

}

启动应用程序后，您可以等待应用程序启动，然后轮询
Window.getOwnerlessWindows 查找应用创建的任何顶级窗口。

更直接的方法是安装自己的 RepainManager - 您可以委托给现有的。所有窗口绘制操作都会调用此方法，因此您可以直接进入窗口层次结构的中心，

您还可以注册以侦听 AWT EventQueue 上的所有事件。这还可以让您了解应用程序中发生的情况，从中您可以确定创建了哪些窗口、焦点等。

Answer 2

如果您可以控制“已测试”应用程序，我认为您最好的选择可能是创建一个服务器，允许测试程序代理对内部 java.awt.Robot 的调用。

Answer 3

您需要在目标应用程序中编写并支持特定协议（您自己发明的）。

您可以使用 RMI、Sockets 或其他形式的 RCP（Protobuf、JSON、WebService 等）来完成此操作。

要点是，您必须在应用程序中打开一个端口，并且能够理解来自外部源的指令。

如果您正在寻找一种测试方法，我听说 Abbot 是一个不错的选择。看看吧。

如果您想操作一个应用程序（您没有源代码），这可能会更复杂。