需要使用 EC2 设计视频转码处理方面的帮助吗？

Question

我目前正在 linode 服务器中对用户上传的视频进行转码，并使用 s3 来存储它们，但是，作为乐观主义者，我希望将转码转移到 Amazon EC2 以在必要时进行扩展，同时也可以从使用它中获得经验。这是我到目前为止的工作流程：

1. 将视频直接上传到 s3，绕过 nginx/Rails 堆栈
2. 使用视频 url 在 Amazon 简单队列服务中创建一个条目
3. 查看是否有任何 EC2 实例正在运行，如果没有，则使用一个简单的 ruby​​ 脚本启动一个实例脚本（我相信亚马逊允许启动脚本小于 6kb）
4. Ruby 脚本连接到简单队列并运行 ffmpeg 命令来转码视频
5. 脚本查看是否有任何其他队列并运行它们
6. 当没有更多队列时关闭实例（可能会使其运行整小时，因为 Amazon 对 EC 实例运行的任何部分都按整小时收费）

显然，上述内容是基本的，并没有充分利用 EC2 的目的。我考虑过使用线程连接到队列并在同一 EC2 实例上运行新作业或创建其他 EC2 实例，其中启动脚本将运行 ruby​​ 脚本。对于前者，我们需要根据 CPU 使用情况限制同一 EC2 中的作业数量。

后者似乎很浪费，但考虑到视频转码是CPU密集型的，也许同时使用两个ffmpeg是不可行的。我还考虑过 Amazon 自动扩展来创建新实例，但对我来说使用 Ruby 似乎更简单、更容易。

1. 我的问题是有效地做到这一点的最佳方法是什么？
2. 运行两个 ffmpeg 被认为是不好的做法吗？ （假设视频大小平均约为 200mbs。）
3. 考虑到 Ruby 线程的坏名声，使用 Ruby 线程是否是最佳选择？
4. 我应该研究 EventMachine 来代替线程吗？

除非必要，否则我不想运行任何 EC2 实例，从实例中获得最大收益，但不要让我的用户等待太长时间才能完成视频转码。

基于这篇文章http://stream0.org/2009/10/h264-video-encoding-on-amazons.htmlhttp://stream0.org/2009/10/h264-video-encoding -on-amazons.html 高CPU、超大实例似乎是最好的选择。当然，我计划自己做一些测试，但我想在深入研究之前获得一些专家的意见。谢谢！

原来这是一篇文章，抱歉太长了。

Answer 1

我今天在本地计算机上运行了一些测试，以测试多个 ffmpeg 进程的 CPU 使用情况。我在互联网上找到了以下命令，到目前为止它工作正常，它编码为 flv，减小了文件大小，而质量没有明显差异。我对 ffmpeg 几乎一无所知，所以也许这个命令完全是垃圾（如果是，请告诉我）。一个问题是它不支持 ffmpeg 中的线程，但我认为这可能是编解码器的问题。

ffmpeg -i explanation-ace-2-3.mp4 -ab 96k -ar 22050 -qscale 6 output3.flv

我以半秒为间隔使用 top -b -d 0.5 来测量 CPU 使用情况，并执行 grep Cpu 来获取相关信息。这些文件大小约为 150mbs，并使用相同的 ffmpeg 命令进行编码。在开始新的进程之前，我让该进程运行一会儿，这是我的结果：

1 FFMPEG | **0.84mbs/sec**
- 306.31 secs - 5:06 

Cpu(s): 23.6%us,  2.9%sy, 73.6%id  
Cpu(s): 23.7%us,  2.4%sy, 73.9%id  
Cpu(s): 23.6%us,  1.9%sy, 74.5%id  

2 FFMPEG | 1.6 mbs/sec
- 319.25 secs - 5:18
- 319.04 secs - 5:18

Cpu(s): 45.9%us,  4.4%sy, 49.8%id  
Cpu(s): 45.0%us,  5.7%sy, 49.3%id  
Cpu(s): 42.9%us,  8.3%sy, 48.8%id  

3 FFMPEGs | **2.23 mbs/sec**
- 344.72 secs - 5:44
- 342.12 secs - 5:42
- 340.39 secs - 5:40

Cpu(s): 68.8%us,  7.3%sy, 23.9%id  
Cpu(s): 70.9%us,  6.9%sy, 22.2%id  
Cpu(s): 66.0%us,  9.9%sy, 24.1%id  

4 FFMPEGs | **2.69 mbs/sec**
- 379.36 secs - 6.32
- 379.70 secs - 6.33
- 380.89 secs - 6.35
- 378.14 secs - 6.30

Cpu(s): 88.2%us, 11.8%sy,  0.0%id  
Cpu(s): 87.7%us, 12.3%sy,  0.0%id  
Cpu(s): 89.7%us, 10.3%sy,  0.0%id

5 FFMPEGs | **2.61 mbs/sec**
- 459.79 secs - 7.66
- 469.03 secs - 7.82
- 448.15 secs - 7.47
- 458.62 secs - 7.64
- 489.47 secs - 8.16

Cpu(s): 93.1%us,  6.4%sy,  0.0%id
Cpu(s): 88.7%us, 11.3%sy,  0.0%id
Cpu(s): 92.2%us,  7.8%sy,  0.0%id

根据数据，一个接一个地转换视频在资源使用情况下非常糟糕，而且 ffmpeg 进程非常稳定，减去了几个峰值。 4 个 ffmpeg 实例，至少对于我的机器来说，似乎是最有效的。

我似乎在使用系统命令使用 Thread 或 fork 并行运行两个 ffmpeg 进程时遇到问题。

有人对此有什么想法吗？特别是如何使用 Ruby 脚本运行两个 ffmpeg 进程？