选择MogileFS理由

发布于 2022-09-30 19:31:47 字数 1643 浏览 20 评论 0

在这个web 2.0的系统中遇到了第一个问题,如果想让更多的web静态内容服务器一起工作,为了节省存储必然让更多的web服务器使用相同的存储。

比如图片图片是静态内容,有如下需求:
1,需要集中存储,也就是对服务的需求者,只有一个统一的接口。     
2,图片需要的存储比较大要稳定,文件不能丢失根据上述要求我们可以采用如下  模式可以使用众多的网络协议来使用File Server上的文件,可以是NFS或是CIFS,甚至可以是SAN(当然,这东东比较贵的说)。但是为了满足上面提出的3个要求,我更倾向于用分布式文件来取代File Server。
MogileFS就是这样一种系统。在这个web 2.0的系统中遇到了第一个问题,如果想让更多的web静态内容服务器一起工作,为了节省存储必然让更多的web服务器使用相同的存储。
比如图片
图片是静态内容,有如下需求:
1, 需要集中存储,也就是对服务的需求者,只有一个统一的接口。
2, 图片需要的存储比较大。
3, 要稳定,文件不能丢失。
根据上述要求我们可以采用如下模式

Web Server可以使用众多的网络协议来使用File Server上的文件,可以是NFS或是CIFS,甚至可以是SAN(当然,这东东比较贵的说)。但是为了满足上面提出的3个要求,我更倾向于用分布式文件来取代File Server。
MogileFS就是这样一种系统。
MogileFS利用多个有自己的计算资源的静态服务器来分区存储并管理它们的一个分布式文件系统。
特点:
应用层,没有特殊的内核组件要求
无单点失败?MogileFS启动的三个组件(存储节点、跟踪器、跟踪用的数据库),可运行在多个机器上,因此没有单点失败。(你也可以将跟踪器和存储节点运行在同一台机器上,这样你就没有必要用4台机器)推荐至少两台机器自动的文件复制?文件是基于他们的”类”,
文件可以自动的在多个存储节点上复制,这是为了尽量少的复制,才使用”类”的。假如你的图片站点有三份JPEG图片的拷贝,但实际只有1or2份拷贝,那么Mogile可以重新建立遗失的拷贝。用这种办法,MogileFS(不做RAID)可以节约在磁盘,否则你将存储同样的拷贝多份,完全没有必要”
“比RAID好”?在一个非存储区域网络的RAID(non-SAN RAID)的建立中,磁盘是冗余的,但主机不是,如果你整个机器坏了,那么文件也将不能访问。 MogileFS在不同的机器之间进行文件复制,因此文件始终是可用的
传输中立,无特殊协议?MogileFS客户端可以通过NFS或HTTP来和MogileFS的存储节点来通信,但首先需要告知跟踪器一下。简单的命名空间?文件通过一个给定的key来确定,是一个全局的命名空间。你可以自己生成多个命名空间,只要你愿意,但是这样可能在同一MogileFS中,会造成冲突key。
不用共享任何东西?MogileFS不需要依靠昂贵的SAN来共享磁盘,每个机器只用维护好自己的磁盘。
不需要RAID?在MogileFS中的磁盘可以是做了RAID的也可以是没有,如果是为了安全性着想的话RAID没有必要买了,因为MogileFS已经提供了。
不会碰到文件系统本身的不可知情况?在MogileFS中的存储节点的磁盘可以被格式化成多种格式(ext3,reiserFS等等)。MogilesFS会做自己内部目录的哈希,所以它不会碰到文件系统本身的一些限制,比如一个目录中的最大文件数。你可以放心的使用。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文