批量上传大量图像到Azure Blob存储

Question

我的硬盘上本地存储了大约 110,000 张不同格式（jpg、png 和 gif）和大小 (2-40KB) 的图像。我需要将它们上传到 Azure Blob 存储。在执行此操作时，我需要设置一些元数据和 blob 的 ContentType，但除此之外，它是直接批量上传。

我目前正在使用以下方法来处理一次上传一张图像（并行超过 5-10 个并发任务）。

static void UploadPhoto(Image pic, string filename, ImageFormat format)
{
    //convert image to bytes
    using(MemoryStream ms = new MemoryStream())
    {
        pic.Save(ms, format);
        ms.Position = 0;

        //create the blob, set metadata and properties
        var blob = container.GetBlobReference(filename);
        blob.Metadata["Filename"] = filename;
        blob.Properties.ContentType = MimeHandler.GetContentType(Path.GetExtension(filename));

        //upload!
        blob.UploadFromStream(ms);
        blob.SetMetadata();
        blob.SetProperties();
    }
}

我想知道是否可以采用另一种技术来处理上传，使其尽可能快。这个特定项目涉及将大量数据从一个系统导入到另一个系统，并且出于客户原因它需要尽快发生。

Answer 1

好吧，这就是我所做的。我修改了在异步链中运行 BeginUploadFromStream()、BeginSetMetadata()、BeginSetProperties()，并行超过 5-10 个线程（ElvisLive 和 Knightpfhor 建议的组合）。这可行，但超过 5 个线程的任何线程都会产生糟糕的性能，每个线程需要 20 秒以上（一次处理包含 10 个图像的页面）才能完成。

因此，总结一下性能差异：

• 异步：5 个线程，每个线程运行一个异步链，每个线程一次处理 10 个图像（出于统计原因分页）：~15.8 秒（每个线程）。
• 同步：1 个线程，一次 10 个图像（出于统计原因分页）：~3.4 秒

好吧，这非常有趣。同步上传 blob 的一个实例的性能比另一种方法中每个线程的性能好 5 倍。因此，即使运行 5 个线程的最佳异步平衡，也能获得基本相同的性能。

因此，我调整了图像文件导入，将图像分成每个包含 10,000 个图像的文件夹。然后我使用 Process.Start() 为每个文件夹启动 Blob 上传器的实例。我在此批次中有 170,000 张图像需要处理，因此这意味着有 17 个上传器实例。当在我的笔记本电脑上运行所有这些时，所有这些的性能都稳定在每组约 4.3 秒。

长话短说，我没有尝试让线程以最佳方式工作，而是为每 10,000 个图像运行一个 Blob 上传器实例，所有图像同时在一台计算机上运行。总体性能提升？

• 异步尝试：14-16 小时，基于运行一两个小时时的平均执行时间。
• 与 17 个独立实例同步：约 1 小时 5 分钟。

Answer 2

您绝对应该在多个流中并行上传（即同时发布多个文件），但在进行任何显示（错误地）没有好处的实验之前，请确保您实际上增加了 ServicePointManager.DefaultConnectionLimit：

ServicePoint允许的最大并发连接数
目的。默认值为 2。

使用默认值 2，您最多可以对任何目标有两个未完成的 HTTP 请求。

Answer 3

由于您上传的文件非常小，因此我认为您编写的代码可能是您能获得的最高效的。根据您的评论，您似乎已经尝试并行运行这些上传，这实际上是我唯一的其他代码建议。

我怀疑，为了获得最大的吞吐量，需要为您的硬件、连接和文件大小找到正确的线程数。您可以尝试使用 Azure 吞吐量分析器< /a> 使找到这种平衡变得更容易。

Microsoft 的极限计算小组还提供了有关提高吞吐量的基准测试和建议。它专注于部署在 Azure 上的辅助角色的吞吐量，但它会让您了解您所期望的最佳效果。

Answer 4

您可能需要增加 ParallelOperationThreadCount，如下所示。我没有检查最新的 SDK，但在 1.3 中，限制是 64。不设置此值会导致并发操作较低。

CloudBlobClient blobStorage = new CloudBlobClient(config.AccountUrl, creds);
// todo: set this in blob extensions
blobStorage.ParallelOperationThreadCount = 64

Answer 5

如果并行方法的上传时间比串行方法多 5 倍，那么要么

• 带宽太差，
• 要么一台速度很慢的计算机
• 做错了什么。

即使我不使用内存，我的命令行 util 在并行运行时也会得到相当大的提升流或任何其他类似的漂亮东西，我只需生成文件名的字符串数组，然后使用 Parallel.ForEach 上传它们。

此外，Properties.ContentType 调用可能会让您陷入相当大的困难。就我个人而言，我从不使用它们，而且我想它们甚至不重要，除非您想通过直接 URL 在浏览器中直接查看它们。

Answer 6

您始终可以尝试异步上传方法。

public override IAsyncResult BeginUploadFromStream (
Stream source,
AsyncCallback callback,
Object state

)

http://msdn.microsoft.com/en-us/library/ windowsazure/ee772907.aspx