JUnit 中的失败和错误有什么区别？

Question

我在大型代码库上运行 JUnit 测试，并且我已经意识到有时会收到“错误”，而有时会收到“失败”。有什么区别？

Answer 1

失败是当你的测试用例失败时——即你的断言不正确。

错误是发生意外错误/异常时 - 即在尝试实际运行测试时抛出意外异常，如 FileNotFound 等。

Answer 2

如果您的测试抛出异常，但该异常未通过 Junit 中的断言框架向上冒泡，则会将其报告为错误。比如NullPointer，或者ClassNotFound异常会报错：

String s = null;
s.trim();

或者，

try {

    // your code
} catch(Exception e) {
    // log the exception
    throw new MyException(e);
}

话虽如此，下面会报错：

Assert.fail("Failure here");

或者，

Assert.assertEquals(1, 2);

甚至：

throw new AssertionException(e);

这取决于你使用的Junit版本。 Junit 4- 将区分故障和错误，但 Junit 4 将其简化为仅故障。

以下链接提供了更多有趣的输入：

http://www.devx.com/ Java/Article/31983/1763/page/2

Answer 3

来自“使用 JUnit 在 Java 8 中进行实用单元测试”：

JUnit 中的断言（或断言）是您放入的静态方法调用
你的测试。每个断言都是一个机会来验证某些条件
确实如此。如果断言条件不成立，则测试立即停止
那里，JUnit 报告测试失败。

（也有可能当 JUnit 运行测试时，抛出异常并
没有被抓住。在这种情况下，JUnit 会报告测试错误。）

Answer 4

下面的测试解释了测试错误与测试失败之间的区别。

我已经评论了引发测试错误和测试失败的行。

    @Test
    public void testErrorVsTestFailure() {

        final String sampleString = null;

        assertEquals('j', sampleString.charAt(0) );
        //above line throws test error as you are trying to access charAt() method on null reference

        assertEquals(sampleString, "jacob");
        //above line throws Test failure as the actual value-a null , is not equal to expected value-string "jacob"
        }

因此，每当出现异常时，Junit 就会显示测试错误，而当预期结果值与实际值不匹配时，Junit 就会显示测试失败

Answer 5

源类：JUnitReportReporter.java

public void generateReport(List<XmlSuite> xmlSuites, List<ISuite> suites, String defaultOutputDirectory) {
//......

            for (ITestResult tr : (Set) entry.getValue()) {
                TestTag testTag = new TestTag();

                boolean isSuccess = tr.getStatus() == 1;
                if (!(isSuccess)) {
                    if (tr.getThrowable() instanceof AssertionError)
                        ++errors;
                    else {
                        ++failures;
                    }
                }
}

正如您在上面方法中看到的下面一行

tr.getThrowable()实例断言错误

错误计数当它是 AssertionError 实例时会增加，否则（任何 Throwable）将被计为失败。

Answer 6

你是对的，失败来自于 JUnit 断言方法抛出的 AssertionError，或者抛出 AssertionError，或者抛出你在 @Test 注释中声明的异常，而错误来自其他意外的情况。例外情况。但它们之间有一个重要的区别：

失败意味着您的测试运行正确，并发现了代码中的缺陷。

错误可能意味着代码中存在错误，但您甚至没有对其进行测试。这也可能意味着该错误存在于测试本身中。

简而言之，失败意味着您需要重写正在测试的代码。错误意味着它可能是您需要重写的单元测试。即使故障发生在您的代码中（例如 NullPointerException ），这也可能意味着这一点，因为您检测到了一个甚至没有测试的缺陷，因此测试该缺陷可能是明智的。

Answer 7

测试方法抛出	测试结果
java.lang.AssertionError	失败
org.junit.AsductionViolatedException	跳过了
预期的异常	OK
任何其他异常	错误
无异常	OK
测试方法之外的	异常 错误

• 断言方法只是抛出 AssertionExceptions。
• @Test 注释中预期会声明异常。
• 测试方法之外的代码可以用@Before注释，
  @BeforeClass 等等。
• IDE 报告中的计数对测试（测试方法）进行计数，而不是对断言进行计数，因为第一个失败的断言会终止测试。
• 根据经验，如果测试方法异常终止（未使用 return 语句），则测试方法不成功，反之亦然。

Answer 8

讽刺的是，junit 和其他测试相关框架（testng、hamcrest）提供了验证条件的断言操作，如果它失败，那么“在幕后”将抛出 java.lang.AssertionError ，顺便说一句扩展 java.lang.Error。

但这与上面的答案并不矛盾，当然，这些答案是完全有效的。因此，为了将特定的测试流程标记为失败，可以抛出 AssertionError，但是我不确定它是否真的记录在相应的手册中，因为使用专用的fail() API更合适。其他类型的 Throwable 将被视为错误，而不是失败。

Answer 9

基本上，失败是指未实现的断言，而错误是由于测试执行异常。我认为每个 IDE 都有不同颜色的符号图标，用于通过、失败和有错误测试。

如需了解更多信息，请查看此。