如何在 Makefile 中运行二进制文件的测试用例

Question

有一个生成二进制应用程序的小项目。源代码是 C，我使用 autotools 来创建 Makefile 并构建二进制文件 - 它也可以工作。

我想用该二进制文件运行测试用例。这就是我所做的：

SUBDIRS = src
dist_doc_DATA = README

TESTS=
TESTS+=tests/config1.conf
TESTS+=tests/config2.conf
TESTS+=tests/config3.conf
TESTS+=tests/config4.conf
TESTS+=tests/config5.conf
TESTS+=tests/config6.conf
TESTS+=tests/config7.conf
TESTS+=tests/config8.conf
TESTS+=tests/config9.conf
TESTS+=tests/config10.conf
TESTS+=tests/config11.conf

我想使用该工具将这些案例作为参数运行。当我运行 make check 时，我得到：

make[3]: Entering directory '/home/airween/src/mytool'
FAIL: tests/config1.conf
FAIL: tests/config2.conf
FAIL: tests/config3.conf

这是正确的，因为这些文件是简单的配置文件。

我怎样才能解决 make check 使用上面的脚本运行我的工具，最后我得到一个包含成功、失败、...测试数量的列表，就像在这种情况下：

============================================================================
Testsuite summary for mytool 0.1
============================================================================
# TOTAL: 11
# PASS:  0
# SKIP:  0
# XFAIL: 0
# FAIL:  11
# XPASS: 0
# ERROR: 0

编辑：所以我会喜欢模拟这些运行：

for f in `ls -1 tests/*.conf; do src/mytool ${f}; done

但是 - 当然 - 我想在最后看到总结。

谢谢。

Answer 1

Autotools的内置测试跑步者希望您通过make变量tests来指定可执行测试的名称。您不能只将随机文件名放入其中，并期望make或自动化知道该如何处理它们。

可以构建测试的程序，生成的脚本，与项目分发的静态脚本或上述任何组合。

我该如何解决该检查的脚本，最后我得到了[测试摘要报告]？

您已经确认您的配置文件不是脚本，所以请停止称呼它们！实际上，这是问题的症结所在。最简单的解决方案可能是创建实际可执行脚本，每种情况一个，而 在您的tests variable中的名称​​。每个人都会使用适当的配置文件运行正在测试的二进制文件（也就是说，如果您想执行这些测试，则可以使他们这样做）。

另请参见自动化手册的术语一章。

Answer 2

好的，来自在这里的解决方案。 ：

tests/Makefile.am:
==================

TEST_EXTENSIONS = .conf
CONF_LOG_COMPILER = ./test-suit.sh


TESTS=
TESTS+=config1.conf
TESTS+=config2.conf
TESTS+=config3.conf
TESTS+=config4.conf
TESTS+=config5.conf
TESTS+=config6.conf
TESTS+=config7.conf
TESTS+=config8.conf
TESTS+=config9.conf
TESTS+=config10.conf
TESTS+=config11.conf

test/test-suit.sh:
==================

#!/bin/sh

CONF=$1

exec ../src/mytool $CONF

结果：

make check
...
PASS: config1.conf
PASS: config2.conf
PASS: config3.conf
PASS: config4.conf
PASS: config5.conf
PASS: config6.conf
PASS: config7.conf
PASS: config8.conf
PASS: config9.conf
PASS: config10.conf
PASS: config11.conf
============================================================================
Testsuite summary for mytool 0.1
============================================================================
# TOTAL: 11
# PASS:  11
# SKIP:  0
# XFAIL: 0
# FAIL:  0
# XPASS: 0
# ERROR: 0
============================================================================

这就是我所期望的。