如何运行集成测试？

Question

在我们的项目中，我们有大量的单元测试。它们有助于使项目得到充分的测试。

除此之外，我们还有一组测试，它们是单元测试，但依赖于某种外部资源。我们将其称为外部测试。例如，他们有时可以访问网络服务。

虽然单元测试很容易运行，但集成测试有时无法通过：例如，由于超时错误。此外，这些测试可能需要花费太多时间来运行。

目前，我们保留集成/外部单元测试只是为了在开发相应功能时运行它们。

对于简单的单元测试，我们使用 TeamCity 进行持续集成。

如何运行集成单元测试以及何时运行它们？

Answer 1

在我们的项目中，我们有单独的常规/普通单元测试套件和单独的集成测试套件。造成这种情况的原因有两个：

1. 性能：集成测试速度要慢得多；
2. 测试脆弱性：集成测试由于环境相关条件而更频繁地失败（给出误报）。

我们使用 TeamCity 作为主要的持续集成服务器，使用 Maven 作为构建系统。我们使用以下算法来运行测试：

1. 我们在 Eclipse IDE 内以及每次提交之前运行单元测试。
2. 我们使用 Maven 的 mvn clean install 在 TeamCity 代理上每次提交后自动运行单元测试
3. 。在“主”构建完成后，我们在 TeamCity 代理上自动运行集成测试。

我们触发集成测试执行的方式是将 TeamCity 的integration.tests 任务配置为依赖于“main”continous.build 任务，请参阅此处了解详细信息：http://confluence.jetbrains.net/display/TCD4/Dependency+Triggers

我们仅通过以下方式运行集成测试（不包括单元测试）：

• 使用名为的单独目录
  “src/it/java”以保持集成
  测试，
• 默认情况下从 maven-surefire-plugin 配置（配置/排除元素）中排除此源文件夹，
• 使用名为“integration”的 Maven 配置文件排除常规单元测试并包含来自“src/it/java”的测试（此配置文件已配置）通过在 Integration.tests 任务中传递 -Pintegration ）。

Answer 2

我们使用 Maven2：maven-surefire-plugin 来运行单元测试（在测试阶段），使用 maven-failsafe-plugin 来运行集成测试（集成测试阶段）。

默认情况下，所有测试都会在项目构建时运行，但是可以使用配置文件关闭集成测试。

在许多情况下，集成测试是模块的一部分，在某些情况下，还有专门的模块只进行集成测试。

其中一个团队还使用 Fitnesse 进行验收测试。这些测试也在专用模块中。

我们使用 Hudson 进行 CI。

Answer 3

我们在一个巨大的套件中运行所有测试。运行需要7分钟。

我们的集成测试创建模拟服务器。它们永远不会超时——除非测试要求服务器超时。

所以我们有以下几种事情。 （代码示例是 Python）

class SomeIntegrationTest( unittest.TestCase ):
    def setUp( self ):
        testclient.StartVendorMockServer( 18000 ) # port number
        self.connection = applicationLibrary.connect( 'localhost', 18000 )
    def test_should_do_this( self ):
        self.connection.this()
        self.assert...
    def tearDown( self ):
        testClient.KillVendorMockServer( 18000 )

这有一些限制——它总是为每个测试分叉客户端模拟服务器。有时这还可以，但有时启动和停止的次数太多了。

我们还有以下类型的东西

class SomeIntegrationTest( unittest.TestCase ):
    def setUp( self ):
        self.connection = applicationLibrary.connect( 'localhost', 18000 )
    def test_should_do_this( self ):
        self.connection.this()
        self.assert...

 if __name__ == "__main__":
     testclient.StartVendorMockServer( 18000 ) # port number
     result= unittest.TextTestRunner().run()
     testclient.KillVendorMockServer( 18000 )
     system.exit( result.failures + result.errors )

为了支持此测试，我们有许多用于各种集成测试的模型服务器。

Answer 4

我们使用Jenkins自动运行我们的测试。

请注意单元测试和集成测试之间的区别。谈论“集成单元测试”令人困惑

Maven 提供了区分单元测试和集成测试的良好支持 -
故障保护和Surefire 插件。

来自 Apache Maven 项目：
Failsafe 插件旨在运行集成测试，而 Surefire 插件旨在运行单元测试。
（参见：http://maven.apache.org/surefire/maven-failsafe-插件/)
您需要在 pom.xml 中配置这些插件，

然后仅使用 mvn test - 运行单元测试或 mvn verify 运行集成测试。

单元测试应每 15 分钟定期运行一次。
集成测试，通常需要很长时间，并且应该每 24 小时运行一次。

希望对其他人有帮助。