通过 Mongrel Cluster 使用 Starling 和 Mongrel 的多个实例

Question

情况：

• 在典型的集群设置中，我有 5 个 mongrel 实例在 Apache 2 后面运行。
• 在我的一个初始化程序文件中，我使用 Rufus::Scheduler 安排一个 cron 任务，该任务基本上会发送几个电子邮件。

问题：

• 该任务运行 5 次，每个 mongrel 实例运行一次，每个收件人最终会收到 5 封邮件（尽管我存储了每封已发送邮件的日志并在发送前检查日志）。是否有可能由于所有 5 个实例同时运行该任务，因此它们最终会在写入电子邮件日志之前读取它们？

我正在寻找一种解决方案，使任务仅运行一次。我还有一个正在运行的 Starling 守护进程可供使用。

Answer 1

rooster Rails 插件专门解决了您的问题。它使用 rufus-scheduler 并确保环境仅加载一次。

Answer 2

我现在的做法是：

1. 尝试以独占锁定模式打开文件
2. 当获取锁定时，检查 Starling 中的消息
3. 如果消息存在，则其他进程已经调度了该作业
4. 将消息再次设置到队列并退出。
5. 如果未找到消息，则安排作业，设置消息并退出

以下是执行此操作的代码：

    starling = MemCache.new("#{Settings[:starling][:host]}:#{Settings[:starling][:port]}")
    mutex_filename = "#{RAILS_ROOT}/config/file.lock"
    scheduler = Rufus::Scheduler.start_new


    # The filelock method, taken from Ruby Cookbook
    # This will ensure unblocking of the files
    def flock(file, mode)
      success = file.flock(mode)
      if success
        begin
          yield file
        ensure
          file.flock(File::LOCK_UN)
        end
      end
      return success
    end

    # open_lock method, taken from Ruby Cookbook
    # This will create and hold the locks
    def open_lock(filename, openmode = "r", lockmode = nil)
      if openmode == 'r' || openmode == 'rb'
        lockmode ||= File::LOCK_SH
      else
        lockmode ||= File::LOCK_EX
      end
      value = nil
      # Kernerl's open method, gives IO Object, in our case, a file
      open(filename, openmode) do |f|
        flock(f, lockmode) do
          begin
            value = yield f
          ensure
            f.flock(File::LOCK_UN) # Comment this line out on Windows.
          end
        end
        return value
      end
    end

    # The actual scheduler
    open_lock(mutex_filename, 'r+') do |f|
      puts f.read
      digest_schedule_message = starling.get("digest_scheduler")
      if digest_schedule_message
        puts "Found digest message in Starling. Releasing lock. '#{Time.now}'"
        puts "Message: #{digest_schedule_message.inspect}"
        # Read the message and set it back, so that other processes can read it too
        starling.set "digest_scheduler", digest_schedule_message
      else
        # Schedule job
        puts "Scheduling digest emails now. '#{Time.now}'"
        scheduler.cron("0 9 * * *") do
          puts "Begin sending digests..."
          WeeklyDigest.new.send_digest!
          puts "Done sending digests."
        end
        # Add message in queue
        puts "Done Scheduling. Sending the message to Starling. '#{Time.now}'"
        starling.set "digest_scheduler", :date => Date.today
      end
    end

    # Sleep will ensure all instances have gone thorugh their wait-acquire lock-schedule(or not) cycle
    # This will ensure that on next reboot, starling won't have any stale messages
    puts "Waiting to clear digest messages from Starling."
    sleep(20)
    puts "All digest messages cleared, proceeding with boot."
    starling.get("digest_scheduler")

Answer 3

为什么不使用 mod_passenger (phusion)？我从 mongrel 转向 phusion，效果非常好（时间少于 5 分钟）！