文件服务器分布式缓存
我们有一个非常大的文件服务器（HTTP 和/或 FTP）。一些文件随后被大约 5 个系统使用。例如，系统A将使用文件A和B。那么系统B将使用文件A和C。
是否有应用程序（最好是免费或开源的）可以在系统内部缓存那些常用的文件？
我正在寻找鱿鱼的替代品。谢谢。
We have a very big file server (HTTP and/or FTP). Some files are then used by around 5 systems. For example, system A will use files A and B. Then System B will use files A and C.
Are there applications, preferably free or open source, that can cache those commonly used files inside the system?
I'm looking for Squid alternatives. Thanks.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（2）
您看过 Hadoop 吗？我自己没有使用过它，但它似乎完全符合你的要求。
Have you looked at Hadoop? I haven't used it myself but it seems to do exactly what you want.
如果我们讨论的是存储数百 MB 的文件，那么 Hadoop 将是我解决此问题的推荐选择。但根据社区的说法，Hadoop 不太适合 kB 或 << 的文件。 200-300MB。
对于这种情况，大多数建议构建在 Hadoop 上的 HBase。该组合同时提供高可用性和可扩展性。但这么说 Hadoop 设置可能比您想要的要大，例如开发/测试集群大小为 建议由4~5台服务器组成，而生产环境最少为10台以上服务器。
一个有效的鱿鱼网络缓存替代品是 Varnish。
If we are talking about storing files in 100s of MBs then Hadoop would be my recommended choice to solve this problem. But according to the community Hadoop is not very suitable for files in kB or < 200-300MB.
For such cases most recommend HBase built on Hadoop. The combo provides high availability and scalability at the same time. But saying so Hadoop setup might be a bigger than one might want, e.g. a development/test cluster size is recommended to consist of 4~5 servers, while production environment minimum is 10+ servers.
An effective alternate to squid web cache is Varnish.