如何告诉 Gradle 使用我的 testng.xml 文件进行测试类和排序？

Question

我试图让 Gradle 执行一些使用 testng.xml 文件定义的测试。我的 testng.xml 文件如下所示：

<!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd" >
<suite name="mySuite" verbose="1">

  <listeners>
    <listener class-name="mypackage.MyListener" />
    <listener class-name="mypackage.TestOrderer" />
  </listeners>

  <test name="Tests">
    <classes>
      <class name="mytestpackage.CrazyTest1"/>
      <class name="mytestpackage.CrazyTest2"/>
      <class name="mytestpackage.CrazyTest3"/>
    </classes>
  </test>
</suite>

那么为什么我需要这个？我想确保我的测试以类似于注释定义的方式组织 此处。正如您可能猜到的，TestOrderer 是一个 IMethodInterceptor。

问题是，Gradle 似乎正在接管我的 testng.xml 文件并抓取测试目录以查找它想要执行的测试。即使我禁用此功能，它也无法正确执行这些方法。这是我认为应该有效的方法，但事实并非如此。

test {
  useTestNG()
  options.suites("src/test/resources/crazyTestNG.xml") 
  # Adding 
  # scanForTestClasses = false 
  # causes zero tests to be executed, since the class names don't end in Test
}

看起来这应该是理所当然的...分叉 TestNG 进程并让它运行，但我不知道如何告诉 Gradle 让开并只执行我的测试。

Answer 1

以下是如何配置要在 Gradle 任务中执行的测试套件 (xml)：

apply plugin: 'java'

repositories {
    mavenCentral()
}
dependencies {
    // add the dependencies as needed
    testCompile group: 'org.testng', name: 'testng', version:'6.8.8'
    testCompile fileTree('lib')
}
test {
    useTestNG() {
        // runlist to executed. path is relative to current folder
        suites 'src/test/resources/runlist/my_test.xml'
    }
}

Answer 2

我讨厌 gradle 中的 TestNG 支持...发现与使用原始 TestNG 相比，它最不灵活。我厌倦了摆弄 gradle。 Gradle 任务直接运行 TestNG

task runTests(type: JavaExec, dependsOn: 'classes') {
    main = 'org.testng.TestNG'
    classpath = files("./src/test/resources",
                      project.sourceSets.main.compileClasspath,
                      project.sourceSets.test.compileClasspath,
                      project.sourceSets.main.runtimeClasspath,
                      project.sourceSets.test.runtimeClasspath)
    args = ["-parallel",  "methods", "-threadcount", "1", "-d", "./build/test-output", "./src/test/resources/test.xml"]
}

我的解决方案..使用我从命令行运行的

： gradle runTests

Answer 3

正如另一个答案指出的那样：解决方案是使用suites命令。< /strong> 虽然我更喜欢参数化该命令的参数，以便从命令行我可以选择我想要运行的任何 TestNG 套件。

test {
    
    // Detect if suite param was passed in
    def runSuite = project.hasProperty("suite")
    
    useTestNG() {
        if (runSuite) {
            // If parameter was passed in, use it in the 'suites' command
            def suiteToRun = project.getProperty("suite")
            suites "src/test/resources/"+suiteToRun
        } else {
            // Handle non-command line executions e.g. running tests from IDE
            parallel 'methods'
            threadCount 2
        }
    }
}

然后，我可以从命令行运行类似的命令：

gradle test -Psuite=mysuite.xml

我更喜欢这样定义一堆自定义 Gradle 任务，因为这种方法会导致混乱的 build.gradle 文件，并且对于添加新套件来说灵活性稍差。

Answer 4

Gradle TestNG 运行程序假设，如果没有指定测试类（通过扫描它们或对名称进行模式匹配），那么它应该完全跳过测试执行。

相反，它还应该考虑是否提供了套件 xml。您能为这个问题添加一个 jira 问题吗？

一种可能的解决方法是使用 options.listener 来指定侦听器，而根本不使用套件 xml 文件：

test {
   options.listeners << 'mypackage.MyListener'
   options.listeners << 'mypackage.TestOrderer'
}

这样您就不需要指定测试类，而只需让扫描为您找到它们即可。

Answer 5

此方法不使用您的 testng.xml 文件，但您还可以通过将 JUnit 测试组创建为 Gradle 任务来模拟 testNG 测试组和顺序，然后通过在执行构建时对任务执行进行排序来手动对它们进行排序：

// in build.gradle
task testGroupOne(type: Test) {
   //include '**/*SuiteOne.*'
   include '**/SuiteOne.class'
   testReportDir = file("${reportsDir}/SuiteOne")
   testResultsDir = file("${buildDir}/test-results/SuiteOne")
}

task testGroupTwo(type: Test) {
   //include '**/*SuiteTwo.*'
   include '**/SuiteTwo.class'
   testReportDir = file("${reportsDir}/SuiteTwo")
   testResultsDir = file("${buildDir}/test-results/SuiteTwo")
}

然后，运行您的构建例如：gradle testGroupTwo testGroupOne

Answer 6

task runTests(type: JavaExec, dependsOn: 'classes') {
    main = 'org.testng.TestNG'
    classpath = files("./src/test/resources",
                      project.sourceSets.main.compileClasspath,
                      project.sourceSets.test.compileClasspath,
                      project.sourceSets.main.runtimeClasspath,
                      project.sourceSets.test.runtimeClasspath)
    args = ["-parallel",  "methods", "-threadcount", "1", "-d", "./build/test-output", "./src/test/resoenter code hereurces/test.xml"]
}

How to pass VM arguments in args [] ?