如何从 Jenkins 运行 NUnit 测试？

Question

我希望在每晚以及每次提交到 svn 时为 C# 应用程序运行自动化 NUnit 测试。

这是 Jenkins-CI 可以做的事情吗？
是否有在线教程或操作文档，其中记录了我可以查看的类似设置？

Answer 1

我需要做的正是你所做的，以下是我如何设置 Jenkins 来执行此操作：

1. 将 NUnit 插件添加到 Jenkins
2. 在你的项目中转到 配置 -> 构建 -> 添加构建步骤
3. 在下拉列表中向下滚动到 -> 执行 Windows 批处理命令
4. 确保此步骤位于 MSBuild 步骤之后
5. 添加以下内容，替换变量：

单个 dll 测试：

[PathToNUnit]\bin\nunit-console.exe [PathToTestDll]\Selenium.Tests.dll
/xml=nunit-result.xml

使用NUnit 测试项目进行多个 dll 测试：

[PathToNUnit]\bin\nunit-console.exe [PathToTests]\Selenium.Tests.nunit
/xml=nunit-result.xml

1. 在构建后操作下，勾选发布 NUnit 测试结果报告
2. 对于文本框测试报告 XML，输入 < em>nunit-result.xml

项目构建完成后，NUNit 将立即运行，结果将在仪表板上（如果将鼠标悬停在天气报告图标上）或项目页面上的 最后一次测试结果。

您还可以从 Visual Studio 中运行该命令或作为本地构建过程的一部分。

这是我参考的两篇博文。我没有找到完全符合我要求的：
1 小时持续集成指南设置：Jenkins 遇见 .Net (2011)
使用 Hudson 构建 .NET 项目指南 (2008 ）

Answer 2

如果您不想对单元测试项目进行硬编码，那么最好编写一个脚本来获取所有单元测试项目 dll。我们使用 Powershell 来完成此操作，并遵循命名单元测试项目的特定约定。以下是运行我们的单元测试的 powershell 文件的内容：

param(
[string] $sourceDirectory = $env:WORKSPACE
, $fileFilters = @("*.UnitTests.dll", "*_UnitTests.dll", "*UnitTests.dll")
, [string]$filterText = "*\bin\Debug*"
)

#script that executes all unit tests available.
$nUnitLog = Join-Path $sourceDirectory "UnitTestResults.txt"
$nUnitErrorLog = Join-Path $sourceDirectory "UnitTestErrors.txt"

Write-Host "Source: $sourceDirectory"
Write-Host "NUnit Results: $nUnitLog"
Write-Host "NUnit Error Log: $nUnitErrorLog"
Write-Host "File Filters: $fileFilters"
Write-Host "Filter Text: $filterText"

$cFiles = ""
$nUnitExecutable = "C:\Program Files (x86)\NUnit 2.6.3\bin\nunit-console-x86.exe"

# look through all subdirectories of the source folder and get any unit test assemblies. To avoid duplicates, only use the assemblies in the Debug folder
[array]$files = get-childitem $sourceDirectory -include $fileFilters -recurse | select -expand FullName | where {$_ -like $filterText}

foreach ($file in $files)
{
    $cFiles = $cFiles + $file + " "
}

# set all arguments and execute the unit console
$argumentList = @("$cFiles", "/framework:net-4.5", "/xml=UnitTestResults.xml")

$unitTestProcess = start-process -filepath $nUnitExecutable -argumentlist $argumentList -wait -nonewwindow -passthru -RedirectStandardOutput $nUnitLog -RedirectStandardError $nUnitErrorLog

if ($unitTestProcess.ExitCode -ne 0)
{
    "Unit Test Process Exit Code: " + $unitTestProcess.ExitCode
    "See $nUnitLog for more information or $nUnitErrorLog for any possible errors."
    "Errors from NUnit Log File ($nUnitLog):"
    Get-Content $nUnitLog | Write-Host
}

$exitCode = $unitTestProcess.ExitCode

exit $exitCode

该脚本足够强大，我们可以在所有构建作业中重用。如果您不喜欢 NUnit 控制台的完整路径，您可以随时将该位置放入 PATH 环境变量中。

然后我们将 RunUnitTests.ps1 文件放在构建服务器上并使用以下批处理命令：

powershell.exe -file "{full-path-to-script-direcory}\RunUnitTests.ps1"

Answer 3

对于 Nunit 3 或更高版本的 farmework：

1. 构建步骤（Windows 命令行）
   <代码>“c：\ Program Files（x86）\ NUnit.org \ nunit-console \ nunit3-console.exe”c：\ AutomationTraining \ CSharpSelenium \ bin \ Debug \ test.dll --result = TestR.xml;格式=nunit2

2. Nunit 报告发布的后步骤，它仅显示 Jenkins 工作区目录中的测试结果文件，而不是您的项目中的文件：
   TestR.xml

我们需要以 nunit2 格式生成测试结果，因为现在 Jenkins Nunit 插件无法识别 Nunit3 结果格式。
选项字符串格式也不同：
--result=TestR.xml;format=nunit2
不是
/xml=nunit-result.xml

Answer 4

这个效果很好，我之前已经设置过。

配置 NUnit 将结果输出到 XML 文件并配置 NUnit Jenkins 插件来使用此 XML 文件。结果将显示在仪表板上。

现在，如何调用 NUnit 由您决定。我们的做法是：
Jenkins 作业执行 NAnt 目标执行 NUnit 测试套件。

您可以将 Jenkins 作业配置为在提交时运行和/或计划在特定时间运行。

Answer 5

Ralph Willgoss 的解决方案运行良好，但我更改了两件事以使其变得更好：

a) 我使用 NUnit 项目而不是直接使用 DLL 文件。这使得在 NUnit GUI 中添加更多程序集或配置测试变得更加容易。

b）我在批处理中又添加了一行，以防止测试失败时构建失败：

[PathToNUnit]\bin\nunit-console.exe [PathToTestProject]\UnitTests.nunit /xml=nunit-result.xm
exit 0

提到的 NUnit 插件会自动标记构建不稳定，这正是我想要的，每当测试失败时。它显示有一个黄点。

Answer 6

我认为当构建未通过时最好让构建失败，这样你就不会部署它。做这样的事情：

C:\YourNUnitDir\nunit-console.exe C:\YourOutDir\YourLib.dll /noshadow
if defined ERRORLEVEL if %ERRORLEVEL% neq 0 goto fail_build

:: any other command

: fail_build
endlocal
exit %ERRORLEVEL%

参考：http://www.greengingerwine.com/index.php/2013/01/tip-check-errorlevel-in-your-post-build-steps-when-using-nunit/

Answer 7

Jenkins 确实有支持它的插件。确切的配置在很大程度上取决于您的项目设置。 nUnit、MSBuild、nAnt 等都有特定的插件。首先查看插件页面，但应该不会很难弄清楚。

Answer 8

这是我在 Jenkins 中使用 vstest 运行 OpenCover 的解决方案：

param(
[string] $sourceDirectory = $env:WORKSPACE
, $includedFiles = @("*Test.dll")
, $excludedFiles = @("*.IGNORE.dll")
, [string]$filterFolder = "*\bin\Debug*"
)

# Executables
$openCoverExecutable = "C:\Users\tfsbuild\AppData\Local\Apps\OpenCover\OpenCover.Console.exe"
$unitExecutable = "F:\Program Files (x86)\Microsoft Visual Studio 14.0\Common7\IDE\CommonExtensions\Microsoft\TestWindow\vstest.console.exe"

# Logs
$openCoverReport = Join-Path $sourceDirectory "opencover.xml"
$openCoverFilter = "+[*]* -[*Test]*"

Write-Host "`r`n==== Configuration for executing tests ===="
Write-Host "Source: `"$sourceDirectory`""
Write-Host "Included files: `"$includedFiles`""
Write-Host "Excluded files: `"$excludedFiles`""
Write-Host "Folder filter: `"$filterFolder`""
Write-Host ""
Write-Host "OpenCover Report: `"$openCoverReport`""
Write-Host "OpenCover filter: `"$openCoverFilter`""

# look through all subdirectories of the source folder and get any unit test assemblies. To avoid duplicates, only use the assemblies in the Debug folder
[array]$files = get-childitem $sourceDirectory -include $includedFiles -exclude $excludedFiles -recurse | select -expand FullName | where {$_ -like $filterFolder} | Resolve-Path -Relative

$exitCode = 0
$failedTestDlls = ""

foreach ($file in $files)
{
    Write-Host "`r`nCurrent test dll: $file"

    # set all arguments and execute OpenCover
    $argumentList = @("-target:`"$unitExecutable`"", "-targetargs:`"$file /UseVsixExtensions:false /Logger:trx`"", "-register:user -filter:`"$openCoverFilter`" -mergeoutput -mergebyhash -skipautoprops -returntargetcode -output:`"$openCoverReport`"")

    $unitTestProcess = start-process -filepath $openCoverExecutable -argumentlist $argumentList -wait -nonewwindow -passthru -WorkingDirectory $sourceDirectory

    if ($unitTestProcess.ExitCode -ne 0)
    {
        $failedTestDlls = $failedTestDlls + $file + "`r`n"
        $exitCode = $unitTestProcess.ExitCode
    }
}

if ($exitCode -ne 0)
{
    Write-Host "`r`n==== Executing tests in following dlls failed ===="
    Write-Host "$failedTestDlls"
}

exit $exitCode

每个测试 dll 都在自己的进程中执行，因为我们在单个进程中执行所有测试 dll 时遇到了麻烦（问题与装配加载）。

Answer 9

对于 .Net Core，只需使用以下脚本添加“执行 shell”构建步骤即可：

#!bash -x

cd $my_project_dir
rm -rf TestResults   # Remove old test results.
dotnet test -l trx

之后添加“发布 MSTest 测试结果报告”构建后操作以使测试结果可见。

默认测试报告路径应为 **/*.trx 并将发布所有生成的 .trx 文件。