集成测试最佳实践

Question

我们的团队有数百个集成测试，这些测试会访问数据库并验证结果。我有两个用于所有集成测试的基类，一个用于仅检索测试，一个用于创建/更新/删除测试。仅检索基类在 TestFixtureSetup 期间重新生成数据库，因此每个测试类仅执行一次。 CUD 基类在每次测试之前重新生成数据库。每个存储库类都有其自己对应的测试类。

正如您可以想象的那样，这整个过程需要相当长的时间（运行时间接近 7-8 分钟，并且增长很快）。将此作为我们 CI (CruiseControl.Net) 的一部分运行不是问题，但在本地运行需要很长时间，并且确实禁止在提交代码之前运行它们。

我的问题是，是否有任何最佳实践可以帮助加快这些类型的集成测试的执行速度？

我无法在内存中执行它们（a la sqlite），因为我们使用了 sqlite 不支持的一些数据库特定功能（计算列等）。

此外，整个团队必须能够执行它们，因此在 SQL Server Express 的本地实例或其他实例上运行它们可能很容易出错，除非这些实例的连接字符串都相同。

您的店里是如何实现这一目标的？什么效果最好？

谢谢！

Answer 1

将快速（单元）测试和慢速（集成）测试分开，以便可以单独运行它们。使用测试框架提供的任何方法对测试进行分组/分类。如果测试框架不支持对测试进行分组，请将集成测试移至仅包含集成测试的单独模块中。

快速测试应该只需要几秒钟即可运行所有测试，并且应该具有较高的代码覆盖率。这些类型的测试允许开发人员无情地重构，因为他们可以做一个小的更改并运行所有测试，并且非常有信心更改不会破坏任何内容。

缓慢的测试可能需要很多分钟才能运行，他们将确保各个组件能够正确地协同工作。当开发人员所做的更改可能会破坏由集成测试而不是单元测试测试的内容时，他们应该在提交之前运行这些集成测试。否则，CI 服务器将运行缓慢的测试。

Answer 2

在 NUnit 中，您可以使用属性来装饰您的测试类（或方法），例如：

[Category("Integration")]
public class SomeTestFixture{
    ...
}
[Category("Unit")]
public class SomeOtherTestFixture{
    ...
}

然后您可以在服务器上的构建过程中规定所有类别都运行，并且只要求您的开发人员运行可用测试类别的子集。他们需要运行哪些类别将取决于您比我更了解的事情。但要点是他们能够在单元级别进行测试，并且服务器处理集成测试。

Answer 3

我是一名java开发人员，但也处理过类似的问题。我发现运行本地数据库实例效果很好，因为速度很快（无需通过网络发送数据），而且这样您就不会在集成测试数据库上产生争用。

我们用来解决此问题的一般方法是设置构建脚本以从配置文件中读取数据库连接字符串，然后为每个环境设置一个文件。例如，一个文件用于 WORKSTATION，另一个文件用于 CI。然后，您设置构建脚本以根据指定的环境读取配置文件。因此，在开发人员工作站上运行的构建使用 WORKSTATION 配置运行，而在 CI 环境中运行的构建则使用 CI 设置。

如果整个数据库模式可以从单个脚本创建，那么每个开发人员都可以快速设置本地数据库进行测试，这也会有很大帮助。您甚至可以将此概念扩展到下一个级别，并将数据库设置脚本添加到构建过程中，以便可以编写整个数据库设置脚本以跟上数据库架构中的更改。

Answer 4

作为开发环境的一部分，我们有一个 SQL Server Express 实例，它为每台开发机器运行相同的数据库定义。通过 Windows 身份验证，连接字符串是稳定的 - 字符串中没有用户名/密码。

我们真正想做但还没有做的是看看我们是否可以让我们的系统在 SQL Server Compact Edition，类似于具有 SQL Server 引擎的 SQLite。然后我们可以在内存中运行它们，也可以并行运行它们（使用多个进程）。

Answer 5

您是否进行过任何测量（使用计时器或类似工具）来确定测试大部分时间都花在哪里？

如果您已经知道数据库重新创建是他们耗时的原因，那么另一种方法是重新生成数据库一次并使用事务来保留测试之间的状态。每个 CUD 类型测试在设置中启动一个事务并在拆卸中执行回滚。这可以显着减少每次测试的数据库设置所花费的时间，因为事务回滚比完整的数据库重新创建更便宜。