如何为“make check”创建测试？ 使用 GNU 自动工具

Question

我正在使用 GNU 自动工具来构建特定项目的系统。 我想开始编写自动化测试来进行验证。 我想只需输入“make check”即可让它自动运行这些。 我的项目是用 C++ 编写的，尽管我仍然对为其他语言编写自动化测试感到好奇。

这与几乎所有单元测试框架兼容吗（我正在考虑使用 cppunit）？ 如何将这些单元测试框架挂接到 make check 中？ 我能否确保不需要安装单元测试软件就能够配置和构建项目的其余部分？

Answer 1

要在发出 make check 时运行测试，您需要将它们添加到 TESTS 变量中

假设您已经构建了运行单元测试的可执行文件，只需添加将可执行文件的名称添加到 TESTS 变量，如下所示：

TESTS=my-test-executable

当您进行检查时，它应该自动运行，如果可执行文件返回非零值，它将报告为测试失败。 如果您有多个单元测试可执行文件，只需将它们全部列在 TESTS 变量中：

TESTS=my-first-test my-second-test my-third-test

它们就会全部运行。

Answer 2

我正在使用 Check 0.9.10

    configure.ac
    Makefile.am
    src/Makefile.am
    src/foo.c
    tests/check_foo.c
    tests/Makefile.am

1. ./configure.ac

   PKG_CHECK_MODULES([CHECK], [检查 >= 0.9.10])

2. ./tests/Makefile.am 用于测试代码

   测试 = check_foo 
     check_PROGRAMS = check_foo 
     check_foo_SOURCES = check_foo.c $(top_builddir)/src/foo.h 
     check_foo_CFLAGS = @CHECK_CFLAGS@ 
     

3. 并编写测试代码，./tests/check_foo.c

   <前><代码>START_TEST (test_foo)
   {
   ck_assert( foo() == 0 );
   ck_assert_int_eq( foo(), 0);
   }
   END_测试

   /// 并且有一些 tcase_xxx 代码来运行这个测试

使用 check 您可以使用超时并引发信号。 这很有帮助。

Answer 3

您似乎在第一段中问了两个问题。

第一个是关于向 GNU autotools 工具链添加测试 - 但如果我理解正确的话，这些测试是为了验证构建应用程序所需的环境是否存在（依赖库和工具）以及使构建适应环境（平台特定差异）。

第二个是关于对 C++ 应用程序进行单元测试以及在何处调用这些测试，您建议从 autotools 工具链（可能是从配置脚本）执行此操作。 不过，这样做并不传统 - 在 Makefile 中放入“测试”目标是执行测试套件的更传统方法。 使用自动工具构建和安装应用程序的典型步骤（至少从用户的角度来看，而不是从您（开发人员的角度））是运行配置脚本，然后运行 ​​make，然后可选地运行 make test，最后运行 make install。

对于第二个问题，不希望 cppunit 成为依赖项，为什么不将其与您的 C++ 应用程序一起分发呢？ 您能否将其与源代码一起以您正在使用的任何存档格式（无论是 tar.gz、tar.bz2 或 .zip）正确放置。 我过去使用过 cppunit，并且对它很满意，因为我使用过 JUnit 和其他 xUnit 风格的框架。

Answer 4

您可以使用 Automake 的 TESTS 来运行由 check_PROGRAMS 生成的程序，但这将假定您正在使用日志驱动程序和编译器来输出。 仍然使用 check_PROGRAMS 可能更容易，但使用 Makefile 中的本地规则调用测试套件：

check_PROGRAMS=testsuite

testsuite_SOURCES=...
testsuite_CFLAGS=...
testsuite_LDADD=...

check-local:
    ./testsuite

Answer 5

这是一个没有依赖项的方法：

#src/Makefile.am
check_PROGRAMS = test1 test2
test1_SOURCES = test/test1.c code_needed_to_test1.h code_needed_to_test1.c
test2_SOURCES = test/test2.c code_needed_to_test2.h code_needed_to_test2.c
TESTS = $(check_PROGRAMS)

make check 会自然地工作并显示格式化和汇总的输出：

$ make check
...
PASS: test1
PASS: test2
============================================================================
Testsuite summary for foo 1.0
============================================================================
# TOTAL: 2
# PASS:  2
# SKIP:  0
# XFAIL: 0
# FAIL:  0
# XPASS: 0
# ERROR: 0
============================================================================

1. 当您执行 make dist 时， src/test/* 中不会显示任何内容 将是
   在压缩包中。 测试代码不在 dist 中，只有源代码会在。
2. 当您执行 make distcheck 时，它将运行 make check 并运行您的测试。