使用 minitest 进行多次测试

Question

我有一个应用程序，其中一些规格写入 minitest 中。像往常一样，我使用 rake 启动它们。

因为有时我得到的是随机结果，所以我的规格可能一次通过，另一次失败。

在这种情况下，我可以保留序列号并在修复后稍后重播。 因为我有这种测试（随机结果），所以我通常运行 rake 多次，只是为了确保应用程序没问题。

我想知道是否有一种很好的方法来执行多次 rake 测试（例如 100 次），并在出现任何失败或错误时停止它们？

Answer 1

我认为你应该重新考虑你的测试，而不是测试通话。随机结果的测试对我来说看起来是错误的。

你的测试中的随机因素是什么？您可以为随机因子编写一个模拟元素，并使用模拟元素的不同值重复测试吗？这样你就得到了一个“完整”的测试。

Answer 2

我创建了一个具有随机结果的虚拟测试来模拟您的情况：

#store it as file 'testcase.rb'
gem 'test-unit'
require 'test/unit'

class X < Test::Unit::TestCase
  def test_1
    num = rand(10) 
    assert_true( num < 5, "Value is #{num}")
  end
end 

以下任务调用测试 10 次，并在第一次失败后停止：

TEST_REPETION = 10
task :test do
  TEST_REPETION.times{
    stdout = `ruby testcase.rb`

    if stdout =~ /\d+\) Failure/
      puts "Failure occured"
      puts stdout
      exit
    else
      puts 'Tests ok'
    end
  }
end

对于实际使用，我将调整一些部分：

• 而不是 puts 'Tests ok'定义一个计数器来查看测试成功的频率。
• 相反，您可以将结果存储在结果文件中？