使用 EC2 压缩 S3 文件

Question

我正在尝试使用 EC2 压缩存储在 S3 存储桶中的一些文件。我已经成功地让 SWFUpload 使用 PHP 并将文件上传到 S3。我读到，压缩 S3 文件而不产生巨大传输成本的最佳方法是使用 EC2 来处理 S3。经过大量努力，我设法让 EC2 服务器运行并通过 SSH 连接到其中，但现在我不知道从这里做什么。

压缩 S3 文件并将其放回存储桶的最佳方法是什么？

理想情况下，用户的批量上传将触发 SQS，然后我每天启动一次 EC2 服务器以将它们全部压缩并将它们交还给 S3 进行下载。不知道从这里去哪里。有想法吗？

Answer 1

您应该查看 aws - 一个用于 ec2、s3 和其他 AWS 服务。

当您安装该工具并设置 AWS 凭证时，它将创建各种命令的方便符号链接 - 包括 s3。

总体思路是：

• 从存储桶中下载文件 (s3get)
• 对其进行压缩 (gzip)
• 再次上传 (s3put)

如果您需要更多指针，请告诉我。

也许您想在上传之前用 PHP 压缩文件？这需要安装 zip 扩展。

sudo pecl install zip

这是一个示例脚本：

<?php
$zip      = new ZipArchive();
$filename = "/tmp/" . time() .".zip";
if ($zip->open($filename, ZIPARCHIVE::CREATE) !== true) {
    exit("cannot open <$filename>\n");
}
$zip->addFile('/path/to/uploaded/file');
$zip->close();

// continue uploading to s3