Android JUnit 测试失败，没有像我预期的那样破坏我的 Ant 脚本？

Question

JUnit 测试失败，没有像我期望的那样破坏我的 Ant 脚本？

我的持续集成服务器运行一个 Ant 脚本，它调用如下内容： /tests/ant run-tests

我的 JUnit 测试运行，但出现错误： 运行测试： [echo] 运行测试助手。 [回声] 运行测试... [执行] [执行] com.zedray.stuff.FooBarTest：.... [exec] com.zedray.stuff.FooBarTest:.....INSTRUMENTATION_RESULT:shortMsg=您的代码中出现一些错误。 [exec] INSTRUMENTATION_RESULT：longMsg=java.security.InvalidParameterException：代码中出现一些错误 [exec] INSTRUMENTATION_CODE: 0

错误没有问题，但我的构建脚本继续运行（最终将我损坏的应用程序发布给我的测试人员 - 糟糕！）。我期望仪器抛出构建错误，因此我的持续集成服务器（在本例中为 TeamCity）意识到出现了问题并报告损坏的构建。 “failonerror”已经在相关的宏定义中设置，所以我不确定我还能做什么？

/tests/build.xml

运行测试...

关于如何解决这个问题有什么想法/建议吗？

问候 标记

Answer 1

我采用了另一种方式，因为我使用的是 Android build.xml 文件中的 ant test 目标。该目标打印到标准输出，因此我将标准输出捕获到文件中，然后查询该文件，使用此结果使我的任务失败。

 <target name="run-acceptance-tests" depends="clean, debug, install" >

    <property name="log.file" value="acceptance_tests_standard_out.txt" />
    <!-- because we don't have control over the 'test' target (to check for passes an fails) this prints to standard out
         we capture standard out into a file and query this to see if we have any test failures, using this to pass/fail our task -->
    <record name="${log.file}" action="start" />
    <antcall target="test" />
    <record name="${log.file}" action="stop" />

    <!-- do other stuff -->

    <loadfile property="tests.output" srcFile="${log.file}" />

    <echo>Checking for failures</echo>
    <fail message="acceptance tests failed!" >
        <condition>
            <contains string="${tests.output}" substring="FAILURES" />
        </condition>
    </fail>

    <echo>acceptance tests passed!</echo>
</target>

Answer 2

我遇到了同样的问题，我最终像这样在自己的 build.xml 中自定义了“run-tests”目标，并且不需要更改原始的 android sdk test_rules.xml

<target name="run-tests" depends="-install-tested-project, install"
            description="Runs tests from the package defined in test.package property">
    <echo>Running tests ...</echo>
    <exec executable="${adb}" failonerror="true" outputproperty="tests.output">
        <arg value="shell" />
        <arg value="am" />
        <arg value="instrument" />
        <arg value="-w" />
        <arg value="-e" />
        <arg value="coverage" />
        <arg value="@{emma.enabled}" />
        <arg value="${manifest.package}/${test.runner}" />
    </exec>
    <echo message="${tests.output}"/>
    <fail message="Tests failed!!!">
         <condition>
             <contains string="${tests.output}" substring="FAILURES" />
         </condition>
    </fail>
</target>

Answer 3

还为此寻找某种标准解决方案。我想知道android们是如何开发的，或者他们不使用teamcity和持续集成？听说 hudson 有一些 Android 插件，但我不喜欢 hudson。无论如何，这是快速而肮脏的解决方案，

将 android-sdk-windows\tools\ant\test_rules.xml 中的内容替换为：

        <attribute name="emma.enabled" default="false" />
    <element name="extra-instrument-args" optional="yes" />
    <sequential>
        <echo>Running tests ...</echo>
        <exec executable="${adb}" failonerror="true" outputproperty="tests.output">
            <arg line="${adb.device.arg}" />
            <arg value="shell" />
            <arg value="am" />
               <arg value="instrument" />
            <arg value="-w" />
            <arg value="-e" />
               <arg value="coverage" />
               <arg value="@{emma.enabled}" />
            <extra-instrument-args />
            <arg value="${manifest.package}/${test.runner}" />
    </exec>
    <echo message="${tests.output}"/>
    <fail message="Tests failed!!!">
            <condition>
                    <contains string="${tests.output}" substring="FAILURES" />
            </condition>
    </fail>
    </sequential>

有两个缺点
1）当测试运行时，你看不到测试输出，直到测试失败（并且输出以某种方式被削弱）
2）最好在你的项目中覆盖这个宏

Answer 4

当然，另一种选择是放弃 Ant，转而使用 Maven 或 Gradle。两者都有 Android 插件，可以在测试失败时正确地使构建失败。

行家：
http://code.google.com/p/maven-android-plugin/

摇篮：
http://code.google.com/p/gradle-android-plugin/

运行仪器测试刚刚添加到 Gradle Android 插件中，正在等待合并回主存储库，因此应该很快就会有另一个版本。

Answer 5

ant JUnit 任务 默认运行所有测试。对此有两种解决方案。

最简单的解决方案是将 haltonerror 属性设置为 true，构建将在第一次测试失败时失败。

稍微复杂一些（也是我的偏好）是设置failureProperty，以便所有测试都能运行。这可以让您知道有多少测试失败，而不仅仅是第一个失败的测试。这需要更多的 ant 工作，因为您需要在 junit 测试后添加一行，如下所示：

<fail message="tests failed" if="failureProperty"/>