我的构建能否规定我的代码覆盖率永远不会变得更糟？

Question

我正在使用 hudson CI 来管理一个直接的 java web 项目，使用 ant 来构建。

我想强制要求单元测试覆盖率永远不会比以前的版本差，从而确保任何新代码始终经过测试，或者至少覆盖率不断提高。

有没有 hudson 插件可以这样工作？

编辑：我目前正在使用艾玛，但愿意切换到另一个覆盖应用程序。

另外，作为澄清，我已经看到了一些 Hudson 插件中的阈值，但这并不完全是我想要的。 例如，我想要的是，如果 Build #12 的覆盖率总体为 46%，并且有人以 45% 的覆盖率签入 Build #13，则构建将会中断。

我想这样做的原因是我的代码库测试覆盖率较低。 我们没有时间回去追溯编写单元测试，但我想确保覆盖范围不断变得更好。

更新：丹指出了我的计划中的一个极端情况，这肯定会成为一个问题。 我想我需要重新考虑这是否是一个好主意。

Answer 1

是的。 您使用哪种覆盖工具？

Hudson 的 Cobertura 插件绝对支持这一点。 在项目配置屏幕上，您可以指定阈值。

或者，您可以使用 cobertura-check 任务使 Ant 构建失败（而不是 Hudson）。

编辑：我不确定您是否可以准确地完成您所要求的操作。 即使你可以，也可能会出现问题。 例如，假设您的平均覆盖率为 75%，但对于一门课程，您的覆盖率为 80%。 如果删除 80% 的类及其所有测试，就会降低总体覆盖率，即使其他代码的测试量都不比以前少。

Answer 2

这是一种 hack，但我们出于类似的原因在 Findbugs 和 Checkstyle 中使用它。 您可以设置一个 Ant 任务来执行以下操作（可以将其拆分为多个任务，但为了简洁起见，我将它们组合在一起）：

1. 运行覆盖率测试
2. 解析覆盖率结果并获取覆盖率百分比
3. 读取 tmp/lastCoverage.txt来自上次构建（请参阅步骤 #5a）
4. 将当前覆盖率百分比与从 lastCoverage.txt 读取的百分比进行比较
5. 1. 如果百分比没有减少，请将新的百分比写入 tmp/lastCoverage.txt 的内容
   2. 如果百分比确实减少，则保留原始文件并回显“COVERAGE FAILURE”（使用 ant 的 echo 任务）。

请注意，步骤 2 到 5 不一定需要使用本机 Ant 任务来完成 - 您可以使用 Ant 的 javac 任务来运行 Java 程序来为您执行此操作。

然后，配置Hudson：

• 在“源代码管理”下，确保选中“使用更新”。 这将允许您的lastCoverage.txt 文件在构建之间保留。 请注意，如果您确实非常需要在构建之间清理内容，这可能会出现问题。
• 使用 Hudson Text Finder 插件和正则表达式进行搜索构建输出中的“COVERAGE FAILURE”（确保为插件选中“Also search console output”）。 文本查找器插件可以将构建标记为不稳定。

显然，您可以将文件名/路径和控制台输出等内容替换为适合您的构建上下文的内容。

正如我上面提到的，这相当 hacky，但这可能是让 Hudson 将先前版本中的内容与当前版本进行比较的少数（唯一？）方法之一。

Answer 3

另一种方法是使用 Hudson 的 Sonar 插件来保持覆盖范围随时间变化的趋势，并更容易吸收和分析结果。 它还将显示其他措施的覆盖范围，例如 checkstyle 和 pmd

Answer 4

Atlassian 的 Clover 支持您想要的。 查看 clover-check Ant 任务，特别是historyDir 属性。