当下流行的分布式文件系统大阅兵

Question

本文对目前数种分布式文件系统进行简单的介绍。当前比较流行的分布式文件系统包括：Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及 GoogleFS。

Lustre（www.lustre.org）

lustre 是一个大规模的、安全可靠的，具备高可用性的集群文件系统，它是由 SUN 公司开发和维护。该项目主要的目的就是开发下一代的集群文件系统，可以支持超过 10000 个节点，数以 PB 的数量存储系统。

lustre 是开放源代码的集群文件系统，采取 GPL 许可协议，目前在集群计算机里，计算机与磁盘间数据交换的提升无法跟上微处理器和内存增长的速 度，从而也拖累了应用程序的性能，一种新兴的集群文件系统软件提高了 I/O 速度，可能降低企业购买存储设备的成本并改变企业购买存储的方式，集群文件系统 已经在大学、实验室和超级计算机研究中心里使用，而且即将进入通用商业计算市场。新的集群文件系统采用了开源的 lustre 技术，由美国能源部 (Department Of Energy）开发，惠普公司(HP）提供商业支持。它显著提高了输入输出（I/O) 速度，目前已经在高校、国家实验室和超级计算研究中心产生了一定影 响，未来几年中，它很有可能进入普通的商业计算机领域。

运行在 linux 下,开发语言 c/c++

Hadoop（hadoop.apache.com）

hadoop 并不仅仅是一个用于存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。

如下图是 hadoop 的体系结构：

授权协议 apache,开发语言 java，资源耗费有点大。

MogileFs（www.danga.com）

Mogile Fs 是一个开源的分布式文件系统，主要特征包括

1、应用层的组件

2、无单点故障

3、自动文件复制

4、具有比 RAID 更好的可靠性

5、无需 RAID nigukefs 支持 ，运行在 linux 下。

FreeNAS（www.openqrm.org）

FreeNAS 是网络附加存储(NAS) 服务专用操作系统(FreeBSD 的简化版 )。基于 m0n0wall 防火墙，该系统通过提供磁盘管理及 RAID 软件，可让用户 home 将 PC 转换为 NAS 服务器，支持 FTP/NFS/RSYNC/CIFS/AFP/UNISON/SSH sourceforge.net/pro 协议，旨在让人们重新使用旧硬件.

FastDFS（code.google.com/p/fastdfs）

FastDFS 是一个开源的分布式文件系统，它对文件进行管理，功能包括:文件存储、文件同步、文件访问（文件上传、文件下载) 等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务， 如相册网站，视频网站等等。FastDFS 服务端有两个角色：跟踪器(tracker) 和存储节点(storage)。跟踪器主要做调度的工作，在访问上起负载均衡的作用。存储节点存储文件，完成文件管理的所有功能：

存储、同步、和提供存取接口，FastDFS 同时对文件的 meta data 进行管理。所谓文件的 meta data 就是文件的相关属性，以键值对(key value pair) 方式表示，如：width=1024,其中的 key 为 width，value 为 1024。文件 meta data 是文件属性列表，可以包含多个键值树。

开发语言 c/c++，运行在 linux 系统下。

NFS（www.tldp.org/HOWTO/NFS-HOWTO/index.html）

网络文件系统是 FreeBSD 支持的文件系统中的一种，也被称为 NFS。

NFS 允许一个系统在网络上与它人共享目录和文件。通过使用 NFS， 用户和程序可以象访问本地文件一样访问远端系统上的文件。它的好处是：

1、本地工作站使用更少的磁盘空间，因为通常的数据可以存放在一台机器上而且可以通过网络访问到。

2、用户不必在每个网络上机器里面都有一个 home 目录。home 目录可以被放在 NFS 服务器上并且在网络上处处可用。

3、诸如软驱、CDROM、和 ZIP 之类的存储设备可以在网络上面被别的机器使用。可以减少整个网络上的可移动介质设备的数量。

开发语言 c/c++,可跨平台运行。

OpenAFS（www.openafs.org）

OpenAFS 是一套开放源代码的分布式文件系统，允许系统之间通过局域网和广域网来分享档案和资源。OpenAFS 是围绕一组叫做 cell 的文件服 务器组织的，每个服务器的标识通常是隐藏在文件系统中，从 AFS 客户机登陆的用户将分辨不出他们在那个服务器上运行，因为从用户的角度上看，他们想在有识 别的 Unix 文件系统语义的单个系统上运行。

文件系统内容通常都是跨 cell 复制，一便一个硬盘的失效不会损害 OpenAFS 客户机上的运行。OpenAFS 需要高达 1GB 的大容量客户机缓存， 以允许访问经常使用的文件。它是一个十分安全的基于 kerbero 的系统，它使用访问控制列表(ACL）以便可以进行细粒度的访问，这不是基于通常的 Linux 和 Unix 安全模型。开发协议 IBM Public，运行在 linux 下。

MooseFs（derf.homelinux.org）

Moose File System 是一个具备容错功能的网路分布式文件统，它将数据分布在网络中的不同服务器上，MooseFs 通过 FUSE 使之看起来就 是一个 Unix 的文件系统。但有一点问题，它还是不能解决单点故障的问题。开发语言 perl,可跨平台操作。

pNFS（www.pnfs.com）

网络文件系统(Network FileSystem,NFS) 是大多数局域网(LAN）的重要的组成部分。但 NFS 不适用于高性能计算中苛刻的输入书橱密集型程序，至少以前是这样。NFS 标准的罪行修改纳入了 Parallel NFS(pNFS），它是文件共享的并行实现，将传输速率提高了几个数量级。

开发语言 c/c++,运行在 linu 下。

googleFs

据说是一个比较不错的一个可扩展分布式文件系统，用于大型的，分布式的，对大量数据进行访问的应用。它运行于廉价的普通硬件上，但可以提供容错功能，它可以给大量的用户提供性能较高的服务。google 自己开发的。