Rake 任务和 Rails 初始化程序

Question

对 Rails 有点陌生，所以请配合我。我现在正在做的是使用 Resque 后台处理一些 Ruby 代码。为了启动 Rescque rake 任务，我一直在使用（在 heroku 上），我有一个 resque.rake 文件，其中包含推荐的代码以附加到 heroku 的神奇（或奇怪）线程架构中：

require "resque/tasks"
require 'resque_scheduler/tasks'

task "resque:setup" => :environment do
  ENV['QUEUE'] = '*'
end


desc "Alias for resque:work (To run workers on Heroku)"
task "jobs:work" => "resque:work"

因为我需要访问 Rails 代码，我参考：环境。如果我在 Heroku 的后台设置至少 1 个 Worker dyno，我的 Resque 会表现出色，被清除，一切都很愉快。直到我尝试自动化操作......

所以我想改进代码并每分钟左右自动用相关任务填充队列。这样做（不使用 cron，因为 heroku 不足以使用 cron），我声明一个名为 task_scheduler.rb 的初始化程序，它使用 Rufus 调度程序来运行任务：

scheduler = Rufus::Scheduler.start_new

scheduler.in '5s' do
  autoprocessor_method
end

scheduler.every '1m' do
  autoprocessor_method
end

事情似乎在一段时间内工作得很好......然后 rake 进程就停止了莫名其妙地从队列中拿起。队列变得越来越大。即使我有多个工作测功机在运行，它们最终都会感到疲倦并停止处理队列。我不确定我做错了什么，但我怀疑在我的 rake 任务中引用 Rails 环境导致 task_scheduler.rb 代码再次运行，从而导致重复调度。我想知道如果有人知道如何解决这个问题，而且我也很好奇这是否是 rake 任务停止工作的原因。

谢谢

Answer 1

您不应该在初始化程序中启动调度程序，您应该有一个守护进程运行调度程序并填充队列。它会是这样的（“脚本/调度程序”）：

#!/usr/bin/env ruby

root = File.expand_path(File.join(File.dirname(__FILE__), '..'))
Dir.chdir(root)

require 'rubygems'
gem 'daemons'
require 'daemons'

options = {
    :dir_mode   => :normal,
    :dir        => File.join(root, 'log'),
    :log_output => true,
    :backtrace  => true,
    :multiple   => false
}

Daemons.run_proc("scheduler", options) do

  Dir.chdir(root)
  require(File.join(root, 'config', 'environment'))

  scheduler = Rufus::Scheduler.start_new

  scheduler.in '5s' do
    autoprocessor_method
  end

  scheduler.every '1m' do
    autoprocessor_method
  end

end

您可以从您的应用程序中将此脚本作为常用守护进程调用：

script/scheduler start

这将确保您只有一个进程为该应用程序发送工作resque 工作人员，而不是为您运行的每个杂种工作人员分配一个工作人员。

Answer 2

首先，如果你不是在 Heroku 上运行，我不会推荐这种方法。我会看看 Mauricio 的答案，或者考虑使用经典的 cron 作业或使用 Everytime 来安排 cron 作业。

但如果你在 Heroku 上运行并尝试这样做时感到痛苦，那么我是如何让它发挥作用的。

我保留了相同的原始 Resque.rake 代码，就像我粘贴在原始问题中一样。此外，我创建了另一个附加到 jobs:work rake 进程的 rake 任务，就像第一种情况一样：

desc "Scheduler processor"
  task :scheduler => :environment do
  autoprocess_method
  scheduler = Rufus::Scheduler.start_new
  scheduler.every '1m' do
     twitter_autoprocess
  end
end

desc "Alias for resque:work (To run workers on Heroku)"
task "jobs:work" => "scheduler"

注意事项：

1. 一旦您使用多个工作 dyno，这将是不完美的，因为调度程序将在多个工作中运行点。您可以通过在某处保存状态来解决这个问题，但它并不像我想要的那么干净。

2. 我找到了进程挂起的原始原因。就是这行代码：

   scheduler.in '5s' 执行
    自动处理器方法
   结尾
   

   我不知道为什么，但是当我删除它时，它再也没有挂起。