在 HPC 上自动测试来自 SVN 的二进制文件

Question

我想根据需要或使用 Cron 作业在 SVN 存储库中的 Fortran 二进制文件上设置一些测试用例的自动化测试。 让问题稍微复杂一些的是，测试用例将在计算集群上运行，因此每个测试用例都需要生成一个 PBS 脚本。 （Linux 环境）

有很多 Web 测试和单元测试解决方案，但是，我找不到任何可以直接测试二进制文件的东西。 比如说，提供输入，并将输出与预期的解决方案进行比较。

关于如何处理这个问题有什么建议吗？

Answer 1

我同意这对于脚本来说是非常简单的。 根据二进制文件的配置方式以及程序之间的差异，您甚至可以将测试脚本作为 SVN 存储库的一部分。

由于您处于批处理系统中，因此您可以自由地安排测试。 您可能希望有一个通用的“验证”作业，您可以向其提供设置参数（例如，预期的程序输出和实际的程序输出的位置）。 Nick 提到使用 grep< /code> 检查 qstat 的输出中是否有您的作业 ID，但您可以告诉 PBS 保留一个作业，直到另一个作业完成。 这意味着您有类似的内容：

...
#PBS -N run_test_1
#PBS -a 200906270000
...
<compile test>
<run test>
<save output>

提交时，保存 qsub 返回的作业 ID（如何执行此操作取决于您的平台 - 通常类似于 job_id=$(qsub $JOB_FILE ） 就足够了）。 然后，将该值插入到另一个脚本中：

...
#PBS -N verify_test_1
#PBS -W depend=afterany:$job_id
<run comparison>
...

这将（当插入 job_id 的正确值时）将测试运行的执行保留到 2009 年 6 月 27 日午夜，并保留验证作业直到测试作业完成（afterany 指令指示它应该始终在第一个作业之后运行 - 而不仅仅是在它成功时运行）。

不过，根据集群的周转时间，您可以将所有这些放入一个脚本中，但您仍然可以使用 PBS 基于时间的保留来仅在特定时间运行。 我最近开始使用 Python 而不是 shell 脚本来处理与系统相关的工作 - 我昨天测试了使 Python 脚本可执行并将 PBS 指令直接添加到源代码中 - 它似乎工作得很好。

Answer 2

可能有一个更好的答案，即更预先打包，但我相信 Buildbot 具有足够的可配置性，只要您可以编写 python 脚本来运行二进制文件，它就应该可以满足您的需求。

http://buildbot.net/

Answer 3

似乎对于简单的输入/输出测试，您可以自己编写一个脚本来执行此操作...

例如，

for each program
    compile
    submit to queue
    wait for finish
    check output

在实践中，您可能想要向队列提交多个作业，但想法是相同的。

以下是我的一些关于如何完成每一步的想法。

提交

您可以使用模板 PBS 脚本，并使用 sed 在提交之前使用程序的输入值查找/替换输入标记

等待完成

您可以重复 grep qstat 的输出以获取作业 ID，等待其完成

检查输出

根据预期输出检查作业的输出文件。 您可以将预期输出保存到文件并使用 diff，或者拥有每次运行都必须匹配的正则表达式列表