如何实现分布式文件上传解决方案？

Question

我有一个文件上传网站，目前位于单个服务器上，即使用同一服务器供用户上传文件，并使用同一服务器进行内容交付。

我想要实现的是 CDN（内容交付网络）。我想购买一个服务器场，如果我有一种机制将文件分布在不同的服务器上，那将更好地平衡我的负载。

但是，我对此有几个问题：

假设我的服务器场由 10 台用于内容交付的服务器组成，

1. 由于在用户端，上传文件的脚本将只有一个位置，即

   ，它必须驻留在单个服务器上，对吗？如何将脚本复制到多台服务器上，并将用户的文件上传数据定向到负载最小的服务器上？

2. 我应该如何确定将哪些文件发送到哪个服务器？在上传过程中，我应该随机化所有文件以发送到随机服务器吗？如果用户发送 10 个文件，我应该将它们发送到随机服务器吗？是否有一种机制可以将它们发送到负载最小的服务器？是否有其他算法可以帮助确定文件需要发送到哪个服务器？

3. 文件如何从上传服务器发送到 CDN？使用FTP？这是否会带来额外的开销，并且需要错误检查功能来检查 FTP 连接是否中断、检查文件是否传输成功等？

Answer 1

假设您使用的是 Apache 服务器，有一个名为 mod_proxy_balancer 的模块。它在幕后处理所有负载平衡工作。用户永远不会知道其中的差异——除非他们的下载和上传速度快了 10 倍。

1. 如果您使用此功能，您可以在每台服务器上拥有完整的副本。

2. mod_proxy_balancer 将为您处理此问题。

3. 每个服务器都可以有自己的子域。您的“主”服务器上将有一个数据库，它将所有下载页面与其所在的物理服务器相匹配。然后，基于某种哈希加密算法传递动态 URL，这可以防止使用硬链接进行下载并增加页面点击量。它可能是个人信息和杂项信息的混合，例如用户的 IP 和一天中的时间。然后，下载服务器检查哈希值，并接受或拒绝请求。

如果一切正常，则开始下载；你的负载是平衡的；用户不必担心任何幕后的事情。

注意：我已经完成了 Apache 管理和 Web 开发。我从未管理过大型 CDN，所以这是基于我在其他网站上看到的内容和其他知识。如果有人要在这里添加内容或进行更正，请这样做。

更新

还有一些公司可以为您管理它。简单的 Google 搜索即可为您提供一个列表。