限制 ruby​​ 文件流的速率

Question

我正在开发一个项目，该项目涉及将 Flash 视频文件从多个地理分布的节点上传到 S3 存储桶。

每个视频文件约为 2-3mb，我们每十分钟仅发送一个文件（每个节点），但是我们消耗的带宽需要将速率限制在 ~20k/s，因为这些节点将流媒体传输到CDN，由于位置的原因，我们只能获得 512k 的最大上传量。

我一直在研究 ASW-S3 gem，虽然它不提供任何类型的速率限制，但我知道您可以传入 IO 流。鉴于此，我想知道是否可以创建一个速率限制的流来覆盖 read 方法，添加速率限制逻辑（例如，以最简单的形式调用 sleep< /code> 之间的读取），然后调用被重写方法的 super。

我考虑的另一个选择是破解 Net::HTTP 的代码，并将速率限制放入使用 while 循环的 send_request_with_body_stream 方法中，但我不完全确定这将是最好的选择。

我尝试扩展 IO 类，但这根本不起作用，只是从类继承 class ThrottledIO class ThrottledIO class ThrottledIO class ThrottledIO class ThrottledIO class ThrottledIO < IO 没有做任何事情。

任何建议将不胜感激。

Answer 1

如果你想“增强”IO，你需要使用Delegate。这会在 IO 对象周围放置一个“外观”，该外观将由对象的所有“外部”读取器使用，但不会影响对象本身的操作。

我将其提取到一个 gem 中，因为它被证明是普遍有用的

读取的 IO 示例

这是一个从http ://rubygems.org/gems/progressive_io

这里为所有阅读方法添加了一个方面。我认为你也许可以扩展它来进行基本的限制。完成后，您将能够将您的文件打包到其中：

 throttled_file = ProgressiveIO.new(some_file) do | offset, size |
    # compute rate and if needed sleep()
 end

Answer 2

我们使用 aiaio 的 active_resource_throttle 来限制从工作项目中的 Harvest API 拉取的请求。我没有设置它，但它有效。