使用 CMake，如何从 CTest 获取详细输出？

Question

我正在使用 CMake 来构建我的项目。我添加了一个使用 Boost 单元测试框架的单元测试二进制文件。这一二进制文件包含所有单元测试。我已添加要由 CTest 运行的二进制文件：

ADD_EXECUTABLE( tftest test-main.cpp )
ENABLE_TESTING()
ADD_TEST( UnitTests tftest)

但是 Visual Studio 中的构建输出仅显示运行 CTest 的结果：

      Start 1: UnitTests
  1/1 Test #1: UnitTests ................***Failed    0.05 sec

  0% tests passed, 1 tests failed out of 1

这不是很有帮助，因为我看不到哪个测试失败了。如果我使用 --verbose 从命令行手动运行 ctest，我会得到 Boost 单元测试的输出，它告诉我们实际失败的内容：

1: Test command: tftest.exe
1: Test timeout computed to be: 9.99988e+006
1: Running 4 test cases...
1: test-main.cpp(20): error in "sanity_check3": check 1 == 2 failed
1:
1: *** 1 failure detected in test suite "Master Test Suite"
1/1 Test #1: UnitTests ................***Failed    0.00 sec

那么，我需要在 CMakeLists.txt 中更改什么才能获得CTest 始终以 --verbose 运行？有没有更好的方法将 Boost 单元测试与 CMake/CTest 结合使用？

Answer 1

对于使用 Visual Studio 的人来说，这里是该主题的另一个变体（黑客）：

cmake -E env CTEST_OUTPUT_ON_FAILURE=1 cmake --build . --target RUN_TESTS

Answer 2

要使用 XML 文件显示结果，您必须使用以下命令执行测试

~$ ctest -T Test

，我们在 Testing/1234123432/test.xml 中找到结果
测试文件夹中也会生成其他文件

Answer 3

您可以使用ctest --output-on-failure选项，或设置环境变量CTEST_OUTPUT_ON_FAILURE，每当测试失败时，它将显示测试程序的任何输出。使用 Makefile 和命令行时执行此操作的一种方法如下：

env CTEST_OUTPUT_ON_FAILURE=1 make check

此堆栈溢出问题和解答展示了如何在 Visual Studio 中设置环境变量。

Answer 4

在 cmaking 和制作项目之后，您可以直接调用 ctest 。

ctest --verbose

Answer 5

有一个非常简单的解决方案（由于某种原因很难通过 Google 搜索找到）：

ctest --output-on-failure

如果您将 CMake 与 Visual Studio 的打开文件夹功能一起使用，您可以将该

"ctestCommandArgs": "--output-on-failure"

设置添加到构建配置中。

Answer 6

1. 您可以检查Testing/Temporary子文件夹。运行 make test 后会自动创建。此文件夹包含两个文件：LastTest.log 和 LastTestsFailed.log。 LastTest.log 包含运行测试所需的输出。 LastTestFailed.log 包含失败测试的名称。因此，您可以在执行make test后手动检查它们。

2. 第二种方法是让 ctest 在运行测试后向您显示日志文件的内容：

   1. 放置在构建目录（从中运行make test）文件CTestCustom.ctest（您可以使用配置文件来完成> 命令，例如）包含以下内容

      CTEST_CUSTOM_POST_TEST(“猫测试/临时/LastTest.log”)

您可以使用执行类似操作的任何Windows cmd命令而不是cat 。

2. 再次运行make test并获得利润！

有关自定义 ctest 的其他信息，您可以在此处找到。只需进入“自定义 cmake”部分即可。
祝你好运！

Answer 7

这使得测试输出更加详细：

make test ARGS="-V"

Answer 8

我必须自己添加“检查”目标。由于某种原因，“进行测试”什么也没做。所以我做了什么（正如 stackoverflow 上某处的建议） - 我手动添加了这个目标。为了获得详细的输出，我只是这样写：

add_custom_target(check COMMAND ${CMAKE_CTEST_COMMAND} --verbose)

Answer 9

检查 CTEST_OUTPUT_ON_FAILURE=TRUE


Answer 10

我的方法是仅来自、来自 zbyszek，以及 来自 tarc。我使用 ${CMAKE_COMMAND} 变量（设置为调用的 cmake 可执行文件的绝对路径）和 -E env CTEST_OUTPUT_ON_FAILURE=1 参数来调用实际的 ctest使用 ${CMAKE_CTEST_COMMAND} -C $ 命令。为了帮助阐明发生的情况，我首先使用三个 cmake -E echo 命令来显示当前工作目录和要调用的 ctest 命令。以下是我调用 add_custom_target 的方法。

add_custom_target(check 
        ${CMAKE_COMMAND} -E echo CWD=${CMAKE_BINARY_DIR}
        COMMAND ${CMAKE_COMMAND} -E echo CMD=${CMAKE_CTEST_COMMAND} -C 
lt;CONFIG>
        COMMAND ${CMAKE_COMMAND} -E echo ----------------------------------
        COMMAND ${CMAKE_COMMAND} -E env CTEST_OUTPUT_ON_FAILURE=1
            ${CMAKE_CTEST_COMMAND} -C 
lt;CONFIG>
    WORKING_DIRECTORY ${CMAKE_BINARY_DIR}
    DEPENDS ALL_BUILD
    )

这与 MSVC IDE 配合得很好，其中任何测试错误都显示为可单击的编译错误。请参阅 cmake -E env< /a> 有关 cmake -E 便携式命令行工具模式的文档。我还添加了对 ALL_BUILD 的依赖项，以便在调用 check 目标之前构建所有项目。 （在 Linux 版本上，可能需要将 ALL_BUILD 替换为 ALL；我尚未在 Linux 上测试过这一点。）

Answer 11

现在有一个 CMake 变量允许您修改 make test 的行为。 CMAKE_CTEST_ARGUMENTS 允许您设置在运行时传递给 ctest 的参数列表进行测试。

因此，将其添加到您的 CMake 文件中（必须位于 enable_testing() 之上）：

set(CMAKE_CTEST_ARGUMENTS "--verbose")

意味着 CTest 将始终以详细方式运行。或者仅获取失败测试的输出，请使用：

set(CMAKE_CTEST_ARGUMENTS "--output-on-failure")

编辑：
正如 RobLoach 所建议的，由于它是一个参数列表，因此您需要将其附加到该列表中。

list(APPEND CMAKE_CTEST_ARGUMENTS "--output-on-failure")

Answer 12

ctest -VV 或 ctest --extra-verbose

来自 文档：

启用测试的更详细输出。

测试输出通常被抑制，仅显示摘要信息
显示。此选项将显示更多测试输出。