删除或注释掉不工作的 JUnit 测试？

Question

我目前正在为遗留应用程序构建 CI 构建脚本。有零星的 JUnit 测试可用，我将把所有测试的 JUnit 执行集成到 CI 构建中。但是，我想知道如何处理在非维护的 JUnit 测试中遇到的 100 多次失败。我是否应该：

1) 注释掉它们，因为它们似乎具有合理的（如果没有维护）业务逻辑，希望有人最终取消注释并修复它们

2) 删除它们，因为不太可能有人会修复它们和注释掉的代码只会被忽略或永远混乱

3）追踪那些把这些烂摊子留在我手中的人，并用代码的打印输出敲打他们的头（由于长方法的气味，这将足够适合这项任务）同时宣扬维护良好且经过单元测试的代码库的好处

Answer 1

如果它们编译但失败：将它们留在里面。这将使您在使用 CI 时获得一段时间以来测试改进的良好历史记录。如果测试无法编译但破坏了构建，请将其注释掉并敦促开发人员修复它们。

这显然并不排除使用选项 3（打他们的头），无论如何你都应该这样做，无论你对测试做了什么。

Answer 2

您现在绝对应该以某种方式禁用它们。无论是通过注释、删除（假设您可以从源代码管理中将它们恢复）还是其他方式来完成，都取决于您。您不希望这些失败的测试成为尝试提交新更改的人的障碍。

如果你觉得自己可以修复的问题足够少，那就太好了——那就去做吧。如果它们太多，那么我会倾向于使用“众包”方法。为每个失败的测试提交一个错误。如果可能的话，尝试将这些错误分配给测试/测试代码的实际所有者/作者，但如果这太难确定，那么只要告诉人们重新分配错误分配给他们的错误，随机选择就可以了。然后鼓励人们修复这些错误，要么给他们一个截止日期，要么定期通知每个人进展情况并鼓励他们修复所有错误。

Answer 3

持续显示红色的 CI 系统毫无价值。主要好处是保持质量标准，如果没有过渡来标记质量下降，那么这会变得更加困难。

因此，当前的工作应该是禁用失败的测试，并为每个测试创建一个跟踪票/工作项。无论你如何进行分类，这些问题中的每一个都会得到解决——如果没有人关心测试，那就放弃它。如果故障代表需要在发货前解决的问题，则禁用测试。

一旦处于这种状态，您现在可以依靠 CI 系统来告诉您需要采取紧急行动 - 回滚最后的更改，或者立即让团队修复问题，或者其他什么。

Answer 4

我不知道您在公司的职位，但如果可能的话，请将它们保留下来，并将问题作为错误记录在您的票务系统中。让开发人员自行修复它们或删除测试。

如果这不起作用，请删除它们（您有版本控制，对吧？）并用诸如“删除了显然不会被修复的失败的 junit 测试”之类的评论或更礼貌的内容来关闭票证。

关键是，junit 测试是应用程序代码，因此应该可以工作。这就是开发商获得报酬的原因。如果测试不再合适（测试了不再存在的东西），开发人员应该发出信号并删除测试。

Answer 5

如果您使用 Junit 4，您可以使用 @Ignore 注释。

如果您使用 JUnit 3，您只需重命名测试，这样它们就不会以 test 开头。

另外，尝试修复您正在修改的功能的测试，以免使代码变得更大。

Answer 6

遵循不破窗原则并采取一些行动问题的解决方案。如果您无法修复测试，至少：

1. 从单元测试中忽略它们（有不同的方法可以做到这一点）。
2. 根据需要输入尽可能多的问题并指派人员修复测试。

然后，为了防止将来发生这种情况，请安装类似于Hudson 游戏插件。人们在持续集成期间获得分配的分数，例如

• -10 破坏构建 <-- 更糟
• -1 破坏测试
• +1 修复测试
• 等。

非常酷的工具，可以创建关于单元的责任感团队内进行测试。

Answer 7

失败的 JUnit 测试表明

1. 正在测试的源代码已在未维护测试的情况下进行了处理。在这种情况下，选项 3 绝对值得考虑，否则
2. 你就真的失败了。

无论哪种方式，您都需要修复/审查测试/源。因为听起来你的工作是创建 CI 系统而不是修复测试，所以在你的位置上我会在测试中留下定时炸弹。您可以非常喜欢使用 JUnit 4 的带注释方法（例如 @IgnoreUntil(date="2010/09/16")）和自定义运行程序，因此您也可以简单地添加一个 if 语句每个测试的第一行：

  if (isBeforeTimeBomb()) {
    return;
  }

其中 isBeforeTimeBomb() 可以简单地检查当前日期与您选择的未来日期。然后，您按照此处其他人给出的建议，并通知您的开发团队，构建现在是绿色的，但可能会在 X 天内爆炸，除非修复了定时炸弹测试。

Answer 8

• 将它们注释掉，以便稍后修复。
• 生成测试覆盖率报告（例如 Cobertura）。您注释掉的测试应该涵盖的方法将被指示为测试未涵盖。