在 Rails 中对暂存/生产环境进行冒烟测试的最佳方法是什么？

Question

首先，设置...

我目前正在 Mac OS X 上使用 Ruby 1.8.7 MRI 开发 Rails 3 应用程序，针对 MySQL 数据库运行测试和本地开发。我有 3 个“其他”非本地环境，我们在公司中为每个应用程序使用这些环境，称为 dev、tqa 和 prod。它们使用 JRuby (1.8.7) 在 Tomcat 中运行，并以 Oracle 作为后端。

正如您所看到的，环境有很大不同，我们在部署到本地不存在的 Oracle/JRuby 环境时遇到了一些错误（例如 Oracle 中的日期处理和指定默认模式）。

我喜欢在本地运行 Cucumber/Webrat/Capybara 之类的东西来访问应用程序中公开的每个 URL，以确保基本功能正常工作（即冒烟测试）。理想情况下，它会命中每个 url，并且会执行一些简单的操作，例如在表单中输入数据和单击按钮等。

理想情况下，当我部署到 dev/tqa 时，我会运行类似的操作，除了指向已部署的应用程序而不是本地应用程序。 Cucumber 似乎针对本地运行的应用程序进行了优化，并与 Rails 很好地集成，但无法针对所有意图的“外部”应用程序运行（或者至少我找不到实际有效的简单方法）。

另外，当我部署到产品时，我希望运行一套类似的冒烟测试，但它不会改变当前生产数据库的状态（即，只会获取 URL）。

我想可以使用像 Selenium 这样的东西，但我真的很想运行一个 rake 任务并返回结果，就像我对 Cucumber 所做的那样。

有没有任何 Rails/Ruby 方法可以做到这一点，或者其他人只是使用 wget 或 Selenium 推出自己的解决方案？

此处提出了类似的问题：自动对应用程序中的所有网页进行烟雾测试，部署后

不过，我不确定这个问题是否正是我所想的。

Answer 1

是的，您可以使用 Cucumber 和 Capybara 编写冒烟测试，并针对远程服务器运行它们。我已经做到了并且有效。我还在一些项目上做过 curl/wget 等，但是 Cucumber+Capybara 允许您与页面交互（甚至是使用 Javascript 的页面），而不仅仅是抓取他们。

• Capybara的Rack::Test驱动不支持远程请求；它的 Javascript 驱动程序可以。无论您是否确实需要 Javascript 在您正在测试的页面上工作，您都需要使用 Javascript 驱动程序。根据驱动程序文档将 Capybara 配置为使用 Javascript 驱动程序，并标记您的测试 @javascript。 （我推荐poltergeist/PhantomJS驱动程序；它比Selenium更快，比capybara-webkit提供更好的错误，并且易于设置。）额外的好处：你可以在测试中做需要Javascript的事情，然后你会很高兴-测试整个堆栈，包括 Javascript。
• 编写测试，以便它们不需要自行清理，或者以在生产数据库中安全的方式进行清理。他们无法使用DatabaseCleaner。 （为了防止意外，请将测试放在自己的项目中，并使用不包含 DatabaseCleaner 的 Gemfile。）由于冒烟测试将针对远程服务器运行，因此也不能使用事务来清理，因此它们必须要么不修改数据库或必须专门删除它们创建的对象。
• 设置 Capybara.app_host = "http://your-server.yourco.com"
• 设置 Capybara.run_server = false （不是必需的，但运行本地服务器没有意义 如果您的测试
• 修改了数据库，请将测试数据库环境设置为您想要进行冒烟测试的环境。
• 部署和测试。

Answer 2

简单地攻击应用程序以查看其是否崩溃的一种方法是从生产 Web 服务器日志文件中获取 GET 请求列表，并将这些请求输入到诸如 curl 或 wget< 之类的程序中。 /code> 将尽快获取它们。

这是一个简单的示例：

#!/usr/bin/env ruby
# rerun

require 'uri'

def extract_from_log(base_uri, log_path)
  File.open(log_path) do |log|
    while (line = log.gets)
      if (line.match(%r{"GET (/\S+) HTTP/\d\.\d"}))
        uri = URI.join(base_uri, $1)
        puts uri.to_s
      end
    end
  end
end

base_uri, log_path = ARGV

if (base_uri and log_path)
  extract_from_log(ARGV[0], ARGV[1])
else
  puts "Usage: #{File.basename($0)} <base_uri> <log_path>"
  exit(-1)
end

给定一个标准 Web 日志文件，其中包含与 "GET /... HTTP/1.1" 匹配的行，您可以轻松提取路径，但有必要提供基本 URI：

rerun http://example.com/ example.log

这将列出输出在该日志文件中找到的所有 URL。您可以将其通过管道传输到 wget 来获取数据：

rerun http://example.com/ example.log | wget -i -

如果您破坏了任何内容，您将开始在应用程序中收到错误，并且通过适当的通知系统，您将能够捕获这些错误并进行跟踪他们下来了。