非关键单元测试失败

Question

我正在使用 Python 的内置 unittest 模块，我想编写一些测试并不重要。

我的意思是，如果我的程序通过了这样的测试，那就太好了！但是，如果没有通过，也不是真正的问题，程序仍然可以运行。

例如，我的程序设计为使用自定义类型“A”。如果它不能与“A”一起工作，那么它就坏了。然而，为了方便起见，其中大部分也应该与另一种类型“B”一起使用，但这不是强制性的。如果它无法与“B”一起工作，那么它并没有损坏（因为它仍然可以与“A”一起工作，这是它的主要目的）。未能与“B”一起工作并不重要，我只是会错过我可以拥有的“奖励功能”。

另一个（假设的）例子是编写 OCR 时。该算法应该可以识别测试中的大多数图像，但如果其中一些图像失败也没关系。 （不，我不是在写 OCR）

有没有办法在单元测试（或其他测试框架）中编写非关键测试？

Answer 1

实际上，我可能会使用打印语句来指示这种情况下的失败。更正确的解决方案是使用警告：

http://docs.python.org/library/warnings .html

但是，您可以使用日志记录工具生成更详细的测试结果记录（即设置“B”类故障以将警告写入日志）。

http://docs.python.org/library/logging.html

：

编辑 我们在 Django 中处理这个问题的方式是，我们有一些预计会失败的测试，并且根据环境跳过其他一些测试。由于我们通常可以预测测试是否应该失败或通过（即，如果我们无法导入某个模块，则系统没有它，因此测试将无法工作），因此我们可以智能地跳过失败的测试。这意味着我们仍然运行每个将通过的测试，并且没有“可能”通过的测试。当单元测试以可预测的方式做事时，它们是最有用的，并且能够在运行测试之前检测测试是否应该通过，从而使这成为可能。

Answer 2

单元测试中的断言是二元的：它们要么起作用，要么失败，没有中期。

鉴于此，要创建这些“非关键”测试，当您不希望测试失败时，不应使用断言。您应该小心地进行此操作，以免损害测试的“有用性”。

我对您的 OCR 示例的建议是，您使用某种东西来记录测试代码中的成功率，然后创建一个断言，例如：“assert success_rate > 8.5”，这应该会产生您想要的效果。

Answer 3

感谢您的精彩回答。没有一个答案是真正完整的，所以我在这里写所有对我有帮助的答案的组合。如果您喜欢这个答案，请投票给对此负责的人。

结论

单元测试（或者至少是 unittest 模块中的单元测试）是二进制的。正如 Guilherme Chapiewski 所说：它们要么有效，要么失败，没有中期。

因此，我的结论是单元测试并不是这项工作的正确工具。似乎单元测试更关心“让一切正常工作，不会出现故障”，因此我不能（或者说不容易）进行非二进制测试。

因此，如果我试图改进算法或实现，单元测试似乎不是正确的工具，因为单元测试无法告诉我一个版本与另一个版本相比有多好（假设它们都正确实现） ，那么两者都会通过所有单元测试）。

我的最终解决方案

我的最终解决方案基于ryber的想法 和 wcoenen 答案 中显示的代码。我基本上扩展了默认的 TextTestRunner 并使其不那么冗长。然后，我的主代码调用两个测试套件：关键测试套件使用标准 TextTestRunner，非关键测试套件使用我自己的不太详细的版本。

class _TerseTextTestResult(unittest._TextTestResult):
    def printErrorList(self, flavour, errors):
        for test, err in errors:
            #self.stream.writeln(self.separator1)
            self.stream.writeln("%s: %s" % (flavour,self.getDescription(test)))
            #self.stream.writeln(self.separator2)
            #self.stream.writeln("%s" % err)


class TerseTextTestRunner(unittest.TextTestRunner):
    def _makeResult(self):
        return _TerseTextTestResult(self.stream, self.descriptions, self.verbosity)


if __name__ == '__main__':
    sys.stderr.write("Running non-critical tests:\n")
    non_critical_suite = unittest.TestLoader().loadTestsFromTestCase(TestSomethingNonCritical)
    TerseTextTestRunner(verbosity=1).run(non_critical_suite)

    sys.stderr.write("\n")

    sys.stderr.write("Running CRITICAL tests:\n")
    suite = unittest.TestLoader().loadTestsFromTestCase(TestEverythingImportant)
    unittest.TextTestRunner(verbosity=1).run(suite)

可能的改进

了解是否有任何非二进制测试的测试框架应该仍然有用，例如凯西·范·斯通建议。也许我不会在这个简单的个人项目中使用它，但它可能对未来的项目有用。

Answer 4

我不完全确定单元测试是如何工作的，但大多数单元测试框架都有类似于类别的东西。我想您可以对此类测试进行分类，将它们标记为忽略，然后仅在您对它们感兴趣时运行它们。但我从经验中知道，忽略测试很快就会变得……只是忽略了没有人运行的测试，因此编写它们是浪费时间和精力。

我的建议是你的应用程序要做或不做，没有尝试过。

Answer 5

从您链接的 unittest 文档中：

代替unittest.main()，有
其他运行测试的方法
更精细的控制，不太简洁
输出，并且不需要运行
从命令行。例如，
最后两行可以被替换
与：

suite = unittest.TestLoader().loadTestsFromTestCase(TestSequenceFunctions)
unittest.TextTestRunner(verbosity=2).run(suite)

在您的情况下，您可以创建单独的 TestSuite关键和非关键测试的实例。您可以使用命令行参数控制将哪个套件传递给测试运行程序。测试套件还可以包含其他测试套件，因此您可以根据需要创建大的层次结构。

Answer 6

Python 2.7（和 3.1）添加了对跳过某些测试方法或测试用例以及将某些测试标记为预期失败的支持。

http://docs.python.org/library/unittest .html#skipping-tests-and-expected-failures

标记为预期失败的测试不会被计为 TestResult 上的失败。

Answer 7

有一些测试系统允许警告而不是失败，但 test_unit 不是其中之一（我不知道哪些系统可以这样做），除非您想扩展它（这是可能的）。

您可以进行测试，以便它们记录警告而不是失败。

处理此问题的另一种方法是分离出测试并仅运行它们来获取通过/失败报告，并且没有任何构建依赖项（这取决于您的构建设置）。

Answer 8

看看鼻子：http://somethingaboutorange.com/mrl/projects/nose /0.11.1/

有很多命令行选项用于选择要运行的测试，并且您可以保留现有的单元测试测试。

Answer 9

另一种可能性是创建一个“B”分支（您正在使用某种版本控制，对吧？）并在其中进行“B”的单元测试。这样，你就可以保持发布版本的单元测试干净（看，全是点！），但仍然有 B 的测试。如果你使用像 git 或 Mercurial 这样的现代版本控制系统（我偏向 Mercurial），则分支/克隆和合并是微不足道的操作，所以这就是我的建议。

然而，我认为你正在使用测试来做一些他们不应该做的事情。真正的问题是“‘B’的作用对你来说有多重要？”因为您的测试套件中应该只包含您关心它们是通过还是失败的测试。测试如果失败，则意味着代码已损坏。这就是为什么我建议只在“B”分支中测试“B”，因为那将是您开发“B”功能的分支。

如果您愿意，可以使用记录器或打印命令进行测试。但是，如果您不太关心它是否已损坏，以至于无法在单元测试中对其进行标记，那么我会严重质疑您是否足够关心来测试它。此外，这增加了不必要的复杂性（设置调试级别的额外变量、彼此完全独立但在同一空间内运行的多个测试向量，导致潜在的冲突和错误等）。除非您正在开发“Hello, World!”应用程序，我怀疑你的问题集足够复杂，不会增加额外的、不必要的复杂性。

Answer 10

您可以编写测试，以便他们计算成功率。
使用 OCR，您可以输入 1000 个图像的代码，并要求 95% 成功。

如果您的程序必须与类型 A 一起工作，那么如果失败，则测试失败。如果不需要与 B 一起工作，那么进行这样的测试有什么价值？