如何批量上传到 s3？

Question

我最近重构了一些代码，使用“加载数据”将行填充到数据库中，效果很好——但是对于我拥有的每条记录，我必须将 2 个文件上传到 s3——这完全破坏了我所获得的巨大速度升级。 虽然我每秒能够处理 600 多个这些文档，但由于 s3，它们现在只能每秒处理 1 份。

您对此有何解决方法？ 查看 API，我发现它主要是 RESTful，所以我不确定该怎么做——也许我应该将所有这些都放入数据库中。 文本文件通常不超过1.5k。 （我们放入其中的另一个文件是文本的 xml 表示形式）

我已经将这些文件缓存在对我的 Web 服务器的 HTTP 请求中，因为它们被大量使用。

顺便说一句：我们当前的实现使用 java； 我还没有尝试过线程，但这可能是一个选项

建议？

Answer 1

您可以使用JetS3t的[putObjects][1]函数上传一次多个文件。

或者，您可以使用后台线程从队列上传到 S3，并从将数据加载到数据库的代码中将文件添加到队列。

[1]: http://jets3t.s3.amazonaws.com/api/org/jets3t/service/multithread/S3ServiceMulti.html#putObjects(org.jets3t.service.model.S3Bucket, org.jets3t.service .model.S3Object[])

Answer 2

我刚刚找到了一个很好的解决方案，可以使用 php 上传整个目录：

$client->uploadDirectory(
  SOURCE_FOLDER,
  YOUR_BUCKET_NAME,
  DESTINATION,
  array(
    'concurrency' => 5,
    'debug'          => TRUE,
    'force'            => FALSE,
    'params'        => array(
      'ServerSideEncryption' => 'AES256',
    ),
  )
);