最快的 Ruby 记录器实现是什么？

Question

我想找到 Ruby 提供的最快的记录器。我的直觉告诉我 syslog 将在这场竞赛中获胜。但我的直觉似乎是错误的。事实证明，Syslog 是我测试过的三个记录器中最慢的。我使用的是 MacBook Pro、OSX 10.6 (Snow Leopard)、Intel Core2 Duo、4GB RAM 和由 MacPorts 构建的 Ruby 1.8.7。我做错了什么吗？或者 Ruby 的 syslog 实现就这么慢？如果您的结果与我的不同，请随时发布。也欢迎您将您最喜欢的 Ruby 记录器添加到基准测试中。我的目标是找到最快的记录器。我只对纯粹的性能（吞吐量）感兴趣。多目标日志记录等功能不是这里关注的问题。

# loggers_bench.rb

require 'rbench'
require 'activesupport'
require 'syslog'
require 'logger'

buffered = ActiveSupport::BufferedLogger.new('buffered.log')
logger   = Logger.new('logger.log')
syslog   = Syslog.open('rb_syslog')

TIMES = 10_000

RBench.run(TIMES) do
  column :syslog,    :title => 'Syslog'
  column :logger,    :title => 'Logger'
  column :buffered,  :title => 'ActiveSuppoort::BufferedLogger'


  report '#info' do
    syslog {
      300.times do |i|
        syslog.info "hello #{i}"
      end
    }

    logger {
      300.times do |i|
        logger.info "#{Time.now} logging_logger[Process.pid]:  INFO  logging_logger : hello #{i}"
      end
    }
    buffered {
      300.times do |i|
        buffered.info "#{Time.now} logging_logger[Process.pid]:  INFO  logging_logger : hello #{i}"
      end
    }

  end
end

# > RUBYOPT=rubygems ruby loggers_bench.rb 
#                Syslog |  Logger | ActiveSuppoort::BufferedLogger|
# -----------------------------------------------------------------
# #info         158.316 | 117.882 |                        98.707 |

请注意，我只使用了更简单的形式：“hello #{i}”作为 Syslog（理论上这应该更快，但事实并非如此）。另外，我的 Mac 的默认 syslogd 似乎有有限的消息配额（500/秒）。系统日志中不时生成以下消息：

*** process 1962 exceeded 500 log message per second limit  -  remaining messages this second discarded ***

Answer 1

好的，我更新了脚本以包含 log4r，这是我的偏好，因为它支持很多不同的功能。 （滚动日志，耶！）

我还在缓冲记录器上添加了 .flush，并减少了测试时间，因此不会永远花费时间。 log4r 仅比缓冲记录器慢一点。那将是我的选择。

# loggers_bench.rb

require 'rbench'

require 'active_support'
require 'stringio'
buffered = ActiveSupport::BufferedLogger.new('buffered.log')
require 'logger'
logger   = Logger.new('logger.log')
require 'syslog'
syslog   = Syslog.open('rb_syslog')
require 'log4r'
log4r = Log4r::Logger.new 'mylog'
log4r.outputters = Log4r::FileOutputter.new('log', :filename => 'log4r.log')

TIMES = 5_000

RBench.run(TIMES) do
  column :syslog,    :title => 'Syslog'
  column :logger,    :title => 'Logger'
  column :buffered,  :title => 'ActiveSuppoort::BufferedLogger'
  column :log4r,     :title => 'log4r'


  report '#info' do
    syslog {
      10.times do |i|
        syslog.info "hello #{i}"
      end
    }

    logger {
      10.times do |i|
        logger.info "#{Time.now} logging_logger[Process.pid]:  INFO  logging_logger : hello #{i}"
      end
    }

    buffered {
      10.times do |i|
        buffered.info "#{Time.now} logging_logger[Process.pid]:  INFO  logging_logger : hello #{i}"
      end
      buffered.flush
    }

    log4r {
      10.times do |i|
        log4r.info "#{Time.now} logging_logger[Process.pid]:  INFO  logging_logger : hello #{i}"
      end
    }
  end
end
#                Syslog |  Logger | ActiveSuppoort::BufferedLogger |   log4r |
# ----------------------------------------------------------------------------
# #info           2.377 |   2.040 |                          1.425 |   1.532 |

Answer 2

我猜测 BufferedLogger 名称的第一部分解释了它的速度，与其他两个部分相比，我希望它们在收到消息后立即写入。

权衡是缓冲对象吞吐量的提高和 IO 负载的减少，以及存储中未刷新消息的大规模崩溃可能导致的日志信息丢失。

我想知道，为了在不损失所有消息安全性的情况下增加吞吐量并以增加复杂性为代价，是否可以将两种形式结合起来：使用缓冲记录器来获取有用但不需要 100.0000% 完整的信息（即小信息）偶尔的丢失不会造成痛苦），以及您为出于法律或诊断目的而必须拥有的消息选择的非缓冲消息。

如果与必备消息相比，必备消息的数量相对较低（而且应该如此，或者这种方法可能不必要地复杂），那么您使用哪种非缓冲记录器并不重要。

Answer 3

尝试使用 syslog-ng，结果是：

TIMES: 50
用户系统总真实数
系统日志 0.000000 0.000000 0.000000 ( 0.006187)
记录仪 0.000000 0.010000 0.010000 ( 0.003698)
BUFFERED 0.000000 0.000000 0.000000 ( 0.003069)

bufferred 记录器似乎更好。

Answer 4

您还应该查看日志记录 (http://github.com/TwP/logging) 框架。有一个基准（https://github.com/TwP/logging/blob/master/test/benchmark.rb）文件，您可以查看该文件来与 log4r 和核心 ruby​​ 记录器进行一些比较。