有哪位熟悉glusterfs并行文件系统的高手吗？

Question

各位，本人想搭建一套由至少3台服务器组成的glusterfs server端，哪位有这方面的部署经验给分享一下吗？
谢谢！
QQ：282798169
mail：sunquanhui2008@gmail.com

Answer 1

glusterfs是一个分布式文件系统，其代码已经开源了，网址：http://gluster.org/
这里的文档http://gluster.org/docs/index.php/GlusterFS很全面的
GlusterFS是一个高层次的分布式文件系统解决方案。通过增加一个逻辑层，对上层使用者掩盖了下面的实现，使用者不用了解也不需知道，文件的存储形式、分布。
内部实现是整合了许多存储块（server）通过Infiniband RDMA或者 Tcp/Ip方式互联的一个并行的网络文件系统，这样的许多存储块可以通过许多廉价的x86主机，通过网络搭建起来。
其相对于传统NAS 、SAN、Raid的优点就是：
1.容量可以按比例的扩展，且性能却不会因此而降低。
2.廉价且使用简单，完全抽象在已有的文件系统之上。
3.扩展和容错设计的比较合理，复杂度较低。扩展使用translator方式，扩展调度使用scheduling接口，容错交给了本地的文件系统来处理。
4.适应性强，部署方便，对环境依赖低，使用，调试和维护便利。
支持主流的linux系统发行版，包括 fc，ubuntu，debian，suse等，并已有若干成功应用。
集群计算的发展需要发展并升级文件系统，此文件系统不仅能够对多个文件提供并行的访问，而且能在对同一文件进行访问的进程间提供cache一致性。大多数传统的网络文件系统如NFS、AFS、Coda对于并行处理而言是远远不够的，因为它们都依赖中心文件服务器。但是，随着越来越多的客户的加入，服务器的cpu很快就成为了性能的瓶颈。为了解决这个问题，处理能力更强的服务器已经被制造了出来，而且文件系统的设计者们也试图将更多的工作交给客户来完成，但是即使是这样，服务器的速度仍然是文件系统可升级性的瓶颈。新一代的文件系统如Global File System(GFS) 、XFS和 Frangipani 比较适合于集群系统。因为这些系统都在集群系统中的机器上分配存储器、cache 和控制权，并且提供了并行文件访问和cache一致性的解决方法。
文件系统是操作系统的一个重要组成部分，通过对操作系统所管理的存储空间的抽象，向用户提供统一的、对象化的访问接口，屏蔽对物理设备的直接操作和资源管理。
根据计算环境和所提供功能的不同，文件系统可划分为四个层次，从低到高依次是：单处理器单用户的本地文件系统，如DOS的文件系统；多处理器单用户的本地文件系统，如OS/2的文件系统；多处理器多用户的本地文件系统，如Unix的本地文件系统；多处理器多用户的分布式文件系统，如Lustre文件系统。
本地文件系统（Local File System）是指文件系统管理的物理存储资源直接连接在本地节点上，处理器通过系统总线能直接访问。分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络和节点相连。
由于互连网应用的不断发展，本地文件系统由于单个节点本身的局限性，已非常难满足海量数据存取的需要了，因而不得不借助分布式文件系统，把系统负载转移到多个节点上。
传统的分布式文件系统（如NFS）中，所有数据和元数据存放在一起，通过单一的存储服务器提供。这种模式一般称之为带内模式（In-band Mode）。随着客户端数目的增加，服务器就成了整个系统的瓶颈。因为系统所有的数据传输和元数据处理都要通过服务器，不仅单个服务器的处理能力有限，存储能力受到磁盘容量的限制，吞吐能力也受到磁盘I/O和网络I/O的限制。在当今对数据吞吐量需求越来越大的互连网应用中，传统的分布式文件系统已非常难满足应用的需要。
于是，一种新的分布式文件系统的结构出现了，那就是利用存储区域网络（SAN）技术，将应用服务器直接和存储设备相连接，大大提高数据的传输能力，减少数据传输的延时。在这样的结构里，所有的应用服务器都能直接访问存储在SAN中的数据，而只有关于文件信息的元数据才经过元数据服务器处理提供，减少了数据传输的中间环节，提高了传输效率，减轻了元数据服务器的负载。每个元数据服务器能向更多的应用服务器提供文件系统元数据服务。这种模式一般称之为带外模式（Out-of-band Mode）。最近的Storage Tank、CXFS、Lustre、BWFS等都采用这样的结构，因此他们能取得更好的性能和扩展性。区分带内模式和带外模式的主要依据是，关于文件系统元数据操作的控制信息是否和文件数据一起都通过服务器转发传送。前者需要服务器转发，后者是直接访问。

Answer 2

感谢kns1024wh 做的介绍，明白了一些相关的知识，另外，有哪位弟兄想共同搭建一下这种环境吗？本人这里可以提供相应的硬件平台，共同学习嘛。

Answer 3

这个是用在HPCC里面作为IO节点上的文件系统吗？和Lustre是什么区别，我最近想试试lustre。

glusterfs用的多吗？

Answer 4

是用在HPC里面的文件系统，听说lustre配置起来比较复杂，如果你熟悉lustre配置的话，也可以做lustre的文件系统，共同测试一下吧

Answer 5

再次佩服kns1024wh
真是热心奉献啊

Answer 6

你可以参考下这个方案。我公司之前的文件系统就是类似于这个的方案。
http://www.gluster.org/docs/index.php/Automatic_File_Replication_(Mirror)_across_Two_Storage_Servers
我感觉glusterfs负载开销较大

Answer 7

客户端可以和服务端安装在一起么？ 如果是这样就比较理想了。

Answer 8

做并行系统三个节点只好用unify的translator配置了。glusterfs主要开销在“列表”

Answer 9

回复 8# rainbow

    也行，