自动测试网页（并通过 DSL 从用例生成）

Question

我的目标是：

• 我们的客户可以生成新的网络测试。
• 我们的持续集成服务器进行测试环境部署；它应该针对它执行测试。
• 测试也可以针对其他一些环境运行。

（最终的验收测试应该由客户进行，以测试字体等，但这对于我们的测试环境来说将是一个很好的预验收检查。客户可以专注于现在以外的其他事情。）

通常是一些属性（例如文本字段 id） ）发生了变化或者其他什么，测试将在几周内中断。似乎记录的测试经常会失败，因此最好轻松地记录一个新的测试，而不是尝试维护和修改旧的测试。

现在，我找到了一种全新的方法。也许录音不是正确的方式。 怎么样，如果我们的客户可以用人类可读的自己的语言制作用例，机器可以理解这些用例并将其编译为网络记录（使用领域特定语言，DSL）。 这不是科幻小说，它已经被制作出来了，所以请继续阅读。 :-)

我尝试过使用这些自动 Web 测试框架：

• Visual Studio Web 测试（客户无法执行）
• Selenium（仅适用于 Firefox，我们的客户有 IE）
• WatiN（.NET 版本的 Watir，记录器似乎是一个有点问题）
• HP Quick Test Pro（不够容易进行新测试）

这些都没有提供我真正需要的东西......但 Selenium 是最接近的一个。

我们的客户说芬兰语，因此在软件项目开始时，在规范阶段，用户编写一个用例，例如：

• Avaa "OmaLomake"
• Syötä "Tuomas" kohtaan "nimi"
• Paina "Seuraava"

翻译：

• 打开“MyForm”
• 插入“Tuomas” “进入字段“名称”，
• 现在按“下一步”

...这是一个人类可读的用例，但也可以编译为自动网络验收测试。 Open、Insert、into field 和 Press 是关键字，其他是值。

什么样的 DSL 工具适合这个？

微软正在他们的奥斯陆项目中制作一个新的 DSL 制作工具，名为 MGrammar。这意味着您可以创建一种自定义语言，使非技术人员可以轻松地使用机器。 （与 Cobol 和 Visual Basic 相同的基本想法（但失败了）。）

我发现有人已经用 MGrammar 制作了这种 DSL，但它是针对 Watin，而不是 Selenium： http://www.codinginstinct.com/2008/ 11/creating-watin-dsl-using-mgrammar.html

因此，持续集成服务器进程将是：

1. 从源代码控制中获取新版本（像往常一样）。
2. 构建、运行单元测试并分析代码（像往常一样）。
3. 制作安装包并在版本控制中标记版本（像往常一样）。
4. 将用例编译为 Web 测试
5. 运行 Web 测试
6. 接受/拒绝软件 :-)

在持续集成服务器中运行 Web 测试通常意味着大量的配置工作。所以，在我尝试这个之前，我很好奇，你觉得怎么样？ 您是否使用过相同类型的设置？您的经验是什么？ （具体的环境是什么？）

DSL 怎么样，它是否有足够的能力来满足用例，还是会成为另一个无休止的开发任务？客户会生成测试吗？

Answer 1

TestPlan 软件使用专门的语言来编写测试。它具有高度特定领域性，并且在 Web 环境中运行良好。它支持 Selenium 后端，因此您可以获得兼容性，而且它可以在没有浏览器的情况下运行，从而实现更快的测试。我已经在一些相当大的网络项目中使用了它，这些项目正是您正在寻找的设置类型。

您的示例脚本可能如下所示：

GotoURL /SomePage
Click MyForm
SubmitForm with
   %Params:name% Tuomos
   %Submit% value:Next
end

就是这样。它很好地描述了用户想要做什么，并且是一个功能测试。您可以将脚本组合成单元并具有自定义功能。因此，如果您确实需要，可以将 Finish 等同于名称。

Answer 2

Fitnesse 和 Selenium 集成工具，例如 Selenesse(http://github.com/marisaseal/selenesse) 或Fitnium(http://www.magicreason.com/tools/fitnium/fitnium.html< /a>) 也可以满足您的目的。但是，您需要找到谁将元素定位器放入客户编写的测试用例中的答案。如果客户将定位器使用记录仪，则可能无法维护。如果客户编写这些步骤，并且自动化测试人员/开发人员可以使用正则表达式、自定义位置策略放置这些定位器，那么这种方法可能会起作用。

Answer 3

首先，Selenium 确实可以与 IE 和其他浏览器以及 Firefox 配合使用；跨浏览器支持是其优势之一。以下是支持的浏览器列表。

但是，如果您想要基于人类语言的 DSL 来编写测试，请查看 Cucumber - 语法为几乎和你上面的例子一模一样。 Cucumber 已经支持芬兰语 - 请参阅 此链接中的示例。< /a>