http://www.clusterfs.com/download.html
恩,有空测试一下
今天用虚拟机测试了一下,没什么问题,运行正常,测试环境是redhat as 3update4,结构为2个client,1个ost,1个mds
由于手头没有机器,所以关于lustre集群性能的测试一直无法进行,那位朋友作过lustre集群性能的测试,不知道在性能方面比redhat gfs集群有优势么,大家发表一下意见
原帖由 chutianyin 于 2005-11-26 14:47 发表http://www.clusterfs.com/download.html
well, you'd wait till 062H for 146.
我装是装好了,client楞是连不上,苦恼ing……!suran007把安装以后的配置过程发一下看看!
client第一次可能会出现无法mount的现象,你可以用lconf -d --node client config.xml命令来卸载分区并且卸载相应模块,然后再执行mount命令:lconf --node client config.xml ,看看如何?还有一个问题:我的系统是redhat as3 update4,内核为2.4.21-27,为了在内核中打好lustre的补丁,我下载lustre-1.2.4.tar.gz然后从新编译2.4.21-27的内核,我的服务器很多,要每台服务器都要重新编译内核,那样太浪费时间了,所以小弟想问问如何将已经打好lustre补丁的新内核做成一个rpm包,以后再其他pc上直接安装这个rpm包就可以了,不用再重新编译内核了,哪个大哥帮帮忙。该如何做?
[ 本帖最后由 suran007 于 2005-12-1 14:59 编辑 ]
你的生成config.xml文件的代码给我看看,我就是用的直接官方的说明文档里面的。
#!/bin/sh
# config.sh
# Create nodesrm -f config.xmllmc -m config.xml --add net --node node-mds --nid node-mds --nettype tcplmc -m config.xml --add net --node node-ost1 --nid node-ost1 --nettype tcplmc -m config.xml --add net --node node-ost2 --nid node-ost2 --nettype tcplmc -m config.xml --add net --node node-ost3 --nid node-ost3 --nettype tcplmc -m config.xml --add net --node client --nid '*' --nettype tcp
# Cofigure MDSlmc -m config.xml --add mds --node node-mds --mds mds-test --fstype ext3 --dev /tmp/mds-test --size 50000
# Configures OSTslmc -m config.xml --add lov --lov lov-test --mds mds-test --stripe_sz 1048576 --stripe_cnt 0 --stripe_pattern 0lmc -m config.xml --add ost --node node-ost1 --lov lov-test --ost ost1-test --fstype ext3 --dev /tmp/ost1-test --size 100000lmc -m config.xml --add ost --node node-ost2 --lov lov-test --ost ost2-test --fstype ext3 --dev /tmp/ost2-test --size 100000lmc -m config.xml --add ost --node node-ost3 --lov lov-test --ost ost3-test --fstype ext3 --dev /tmp/ost3-test --size 100000
# Configure client (this is a 'generic' client used for all client mounts)lmc -m config.xml --add mtpt --node client --path /mnt/lustre --mds mds-test --lov lov-test
这是我的newconfig.xml文件,内容如下#!/bin/sh
#config.sh
#Create nodesrm -f newconfig.xmllmc -m newconfig.xml --add net --node n03 --nid n03 --nettype tcplmc -m newconfig.xml --add net --node n01 --nid n01 --nettype tcplmc -m newconfig.xml --add net --node n02 --nid n02 --nettype tcplmc -m newconfig.xml --add net --node client --nid '*' --nettype tcp
#Configure mdslmc -m newconfig.xml --add mds --node n03 --mds n03-mds1 --fstype ext3 --dev /dev/sda1 --size 200000
#Configure ostlmc -m newconfig.xml --add lov --lov lov1 --mds n03-mds1 --stripe_sz 1048576 --stripe_cnt 0 --stripe_pattern 0lmc -m newconfig.xml --add ost --node n01 --lov lov1 --ost n01-ost1 --fstype ext3 --dev /dev/sda1 --size 1000000lmc -m newconfig.xml --add ost --node n02 --lov lov1 --ost n02-ost1 --fstype ext3 --dev /dev/sda1 --size 1000000
#Configure clientlmc -m newconfig.xml --add mtpt --node client --path /mnt/lustre --mds n03-mds1 --lov lov1
我发现client如果也这样写的话lmc -m newconfig.xml --add net --node client --nid '*' --nettype tcp
lconf --node client config.xml的时候
会一直连他自己本地的ip 127.0.0.1
两台机器(虚拟机,一个ip是192.168.3.115,还有一个是192.168.3.112)两边生成的配置文件相同:#!/bin/sh
# Create nodesrm -f config.xmllmc -m config.xml --add net --node node-ost1 --nid node-ost1 --nettype tcplmc -m config.xml --add net --node node-ost2 --nid node-ost2 --nettype tcplmc -m config.xml --add net --node node-ost3 --nid node-ost3 --nettype tcplmc -m config.xml --add net --node client --nid '*' --nettype tcp
# Cofigure MDSlmc -m config.xml --add mds --node node-ost1 --mds mds-test --fstype ext3 --dev /tmp/mds-test --size 50000
# Configures OSTslmc -m config.xml --add lov --lov lov-test --mds mds-test --stripe_sz 1048576 --stripe_cnt 0 --stripe_pattern 0lmc -m config.xml --add ost --node node-ost2 --lov lov-test --ost ost2-test --fstype ext3 --dev /tmp/ost2-test --size 20000lmc -m config.xml --add ost --node node-ost3 --lov lov-test --ost ost3-test --fstype ext3 --dev /tmp/ost3-test --size 20000
在192.168.3.115上面[root@myas4 home]# lconf --reformat --node node-ost2 config.xmlloading module: libcfs srcdir None devdir libcfsloading module: portals srcdir None devdir portalsloading module: ksocknal srcdir None devdir knals/socknalloading module: lvfs srcdir None devdir lvfsloading module: obdclass srcdir None devdir obdclassloading module: ptlrpc srcdir None devdir ptlrpcloading module: ost srcdir None devdir ostloading module: ldiskfs srcdir None devdir ldiskfsloading module: fsfilt_ldiskfs srcdir None devdir lvfsloading module: obdfilter srcdir None devdir obdfilterNETWORK: NET_node-ost2_tcp NET_node-ost2_tcp_UUID tcp node-ost2 988OSD: ost2-test ost2-test_UUID obdfilter /tmp/ost2-test 20000 ldiskfs no 0 0OST mount options: errors=remount-ro[root@myas4 home]# lconf --reformat --node node-ost3 config.xmlOSD: ost3-test ost3-test_UUID obdfilter /tmp/ost3-test 20000 ldiskfs no 0 0OST mount options: errors=remount-ro[root@myas4 home]# lconf --reformat --node node-ost1 config.xmlloading module: mdc srcdir None devdir mdcloading module: osc srcdir None devdir oscloading module: lov srcdir None devdir lovloading module: mds srcdir None devdir mdsMDSDEV: mds-test mds-test_UUID /tmp/mds-test ldiskfs norecording clients for filesystem: FS_fsname_UUIDRecording log mds-test on mds-testLOV: lov_mds-test 322e5_lov_mds-test_37c8958c67 mds-test_UUID 0 1048576 0 0 [u'ost2-test_UUID', u'ost3-test_UUID'] mds-testOSC: OSC_myas4_ost2-test_mds-test 322e5_lov_mds-test_37c8958c67 ost2-test_UUIDOSC: OSC_myas4_ost3-test_mds-test 322e5_lov_mds-test_37c8958c67 ost3-test_UUIDEnd recording log mds-test on mds-testRecording log mds-test-clean on mds-testLOV: lov_mds-test 322e5_lov_mds-test_37c8958c67OSC: OSC_myas4_ost2-test_mds-test 322e5_lov_mds-test_37c8958c67OSC: OSC_myas4_ost3-test_mds-test 322e5_lov_mds-test_37c8958c67End recording log mds-test-clean on mds-testMDSDEV: mds-test mds-test_UUID /tmp/mds-test ldiskfs 50000 noMDS mount options: errors=remount-ro[root@myas4 home]# lconf --node client config.xmlloading module: llite srcdir None devdir lliteLOV: lov-test 315f5_lov-test_5cc0aecb27 mds-test_UUID 0 1048576 0 0 [u'ost2-test_UUID', u'ost3-test_UUID'] mds-testOSC: OSC_myas4_ost2-test_MNT_client 315f5_lov-test_5cc0aecb27 ost2-test_UUIDOSC: OSC_myas4_ost3-test_MNT_client 315f5_lov-test_5cc0aecb27 ost3-test_UUIDMDC: MDC_myas4_mds-test_MNT_client 5f7a5_MNT_client_18bac6f136 mds-test_UUIDMTPT: MNT_client MNT_client_UUID /mnt/lustre mds-test_UUID lov-test_UUID
里面出现errors=remount-ro不知道什么意思,但是能够加载[root@myas4 home]# dfFilesystem 1K-blocks Used Available Use% Mounted on/dev/mapper/VolGroup00-LogVol00 9643660 2965364 6188416 33% //dev/hda1 101086 15824 80043 17% /bootnone 127268 0 127268 0% /dev/shmconfig 38712 8600 28112 24% /mnt/lustre
在192.168.3.112上面[root@mylinux home]# lconf --node client config.xmlloading module: libcfs srcdir None devdir libcfsloading module: portals srcdir None devdir portalsloading module: ksocknal srcdir None devdir knals/socknalloading module: lvfs srcdir None devdir lvfsloading module: obdclass srcdir None devdir obdclassloading module: ptlrpc srcdir None devdir ptlrpcloading module: osc srcdir None devdir oscloading module: lov srcdir None devdir lovloading module: mdc srcdir None devdir mdcloading module: llite srcdir None devdir lliteNETWORK: NET_client_tcp NET_client_tcp_UUID tcp 127.0.0.1 988LOV: lov-test e2bc6_lov-test_2dc07a950e mds-test_UUID 0 1048576 0 0 [u'ost2-test_UUID', u'ost3-test_UUID'] mds-testOSC: OSC_mylinux_ost2-test_MNT_client e2bc6_lov-test_2dc07a950e ost2-test_UUIDOSC: OSC_mylinux_ost3-test_MNT_client e2bc6_lov-test_2dc07a950e ost3-test_UUIDMDC: MDC_mylinux_mds-test_MNT_client ed2d7_MNT_client_271d8afe64 mds-test_UUIDMTPT: MNT_client MNT_client_UUID /mnt/lustre mds-test_UUID lov-test_UUID就一直这样,不动了
连接的NETWORK: NET_client_tcp NET_client_tcp_UUID tcp 127.0.0.1 988 晕。
[ 本帖最后由 chutianyin 于 2005-12-2 11:52 编辑 ]
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
暂无简介
文章 0 评论 0
接受
发布评论
评论(9)
恩,有空测试一下
今天用虚拟机测试了一下,没什么问题,运行正常,测试环境是redhat as 3update4,
结构为2个client,1个ost,1个mds
由于手头没有机器,所以关于lustre集群性能的测试一直无法进行,那位朋友作过lustre集群性能的测试,不知道在性能方面比redhat gfs集群有优势么,大家发表一下意见
well, you'd wait till 062H for 146.
我装是装好了,client楞是连不上,苦恼ing……!
suran007把安装以后的配置过程发一下看看!
client第一次可能会出现无法mount的现象,你可以用lconf -d --node client config.xml命令来卸载分区并且卸载相应模块,然后再执行mount命令:lconf --node client config.xml ,看看如何?
还有一个问题:
我的系统是redhat as3 update4,内核为2.4.21-27,
为了在内核中打好lustre的补丁,我下载lustre-1.2.4.tar.gz然后从新编译2.4.21-27的内核,我的服务器很多,要每台服务器都要重新编译内核,那样太浪费时间了,所以小弟想问问如何将已经打好lustre补丁的新内核做成一个rpm包,以后再其他pc上直接安装这个rpm包就可以了,不用再重新编译内核了,哪个大哥帮帮忙。该如何做?
[ 本帖最后由 suran007 于 2005-12-1 14:59 编辑 ]
你的生成config.xml文件的代码给我看看,我就是用的直接官方的说明文档里面的。
#!/bin/sh
# config.sh
# Create nodes
rm -f config.xml
lmc -m config.xml --add net --node node-mds --nid node-mds --nettype tcp
lmc -m config.xml --add net --node node-ost1 --nid node-ost1 --nettype tcp
lmc -m config.xml --add net --node node-ost2 --nid node-ost2 --nettype tcp
lmc -m config.xml --add net --node node-ost3 --nid node-ost3 --nettype tcp
lmc -m config.xml --add net --node client --nid '*' --nettype tcp
# Cofigure MDS
lmc -m config.xml --add mds --node node-mds --mds mds-test --fstype ext3 --dev /tmp/mds-test --size 50000
# Configures OSTs
lmc -m config.xml --add lov --lov lov-test --mds mds-test --stripe_sz 1048576 --stripe_cnt 0 --stripe_pattern 0
lmc -m config.xml --add ost --node node-ost1 --lov lov-test --ost ost1-test --fstype ext3 --dev /tmp/ost1-test --size 100000
lmc -m config.xml --add ost --node node-ost2 --lov lov-test --ost ost2-test --fstype ext3 --dev /tmp/ost2-test --size 100000
lmc -m config.xml --add ost --node node-ost3 --lov lov-test --ost ost3-test --fstype ext3 --dev /tmp/ost3-test --size 100000
# Configure client (this is a 'generic' client used for all client mounts)
lmc -m config.xml --add mtpt --node client --path /mnt/lustre --mds mds-test --lov lov-test
这是我的newconfig.xml文件,内容如下
#!/bin/sh
#config.sh
#Create nodes
rm -f newconfig.xml
lmc -m newconfig.xml --add net --node n03 --nid n03 --nettype tcp
lmc -m newconfig.xml --add net --node n01 --nid n01 --nettype tcp
lmc -m newconfig.xml --add net --node n02 --nid n02 --nettype tcp
lmc -m newconfig.xml --add net --node client --nid '*' --nettype tcp
#Configure mds
lmc -m newconfig.xml --add mds --node n03 --mds n03-mds1 --fstype ext3 --dev /dev/sda1 --size 200000
#Configure ost
lmc -m newconfig.xml --add lov --lov lov1 --mds n03-mds1 --stripe_sz 1048576 --stripe_cnt 0 --stripe_pattern 0
lmc -m newconfig.xml --add ost --node n01 --lov lov1 --ost n01-ost1 --fstype ext3 --dev /dev/sda1 --size 1000000
lmc -m newconfig.xml --add ost --node n02 --lov lov1 --ost n02-ost1 --fstype ext3 --dev /dev/sda1 --size 1000000
#Configure client
lmc -m newconfig.xml --add mtpt --node client --path /mnt/lustre --mds n03-mds1 --lov lov1
我发现client如果也这样写的话
lmc -m newconfig.xml --add net --node client --nid '*' --nettype tcp
lconf --node client config.xml的时候
会一直连他自己本地的ip 127.0.0.1
两台机器(虚拟机,一个ip是192.168.3.115,还有一个是192.168.3.112)
两边生成的配置文件相同:
#!/bin/sh
# config.sh
# Create nodes
rm -f config.xml
lmc -m config.xml --add net --node node-ost1 --nid node-ost1 --nettype tcp
lmc -m config.xml --add net --node node-ost2 --nid node-ost2 --nettype tcp
lmc -m config.xml --add net --node node-ost3 --nid node-ost3 --nettype tcp
lmc -m config.xml --add net --node client --nid '*' --nettype tcp
# Cofigure MDS
lmc -m config.xml --add mds --node node-ost1 --mds mds-test --fstype ext3 --dev /tmp/mds-test --size 50000
# Configures OSTs
lmc -m config.xml --add lov --lov lov-test --mds mds-test --stripe_sz 1048576 --stripe_cnt 0 --stripe_pattern 0
lmc -m config.xml --add ost --node node-ost2 --lov lov-test --ost ost2-test --fstype ext3 --dev /tmp/ost2-test --size 20000
lmc -m config.xml --add ost --node node-ost3 --lov lov-test --ost ost3-test --fstype ext3 --dev /tmp/ost3-test --size 20000
# Configure client (this is a 'generic' client used for all client mounts)
lmc -m config.xml --add mtpt --node client --path /mnt/lustre --mds mds-test --lov lov-test
在192.168.3.115上面
[root@myas4 home]# lconf --reformat --node node-ost2 config.xml
loading module: libcfs srcdir None devdir libcfs
loading module: portals srcdir None devdir portals
loading module: ksocknal srcdir None devdir knals/socknal
loading module: lvfs srcdir None devdir lvfs
loading module: obdclass srcdir None devdir obdclass
loading module: ptlrpc srcdir None devdir ptlrpc
loading module: ost srcdir None devdir ost
loading module: ldiskfs srcdir None devdir ldiskfs
loading module: fsfilt_ldiskfs srcdir None devdir lvfs
loading module: obdfilter srcdir None devdir obdfilter
NETWORK: NET_node-ost2_tcp NET_node-ost2_tcp_UUID tcp node-ost2 988
OSD: ost2-test ost2-test_UUID obdfilter /tmp/ost2-test 20000 ldiskfs no 0 0
OST mount options: errors=remount-ro
[root@myas4 home]# lconf --reformat --node node-ost3 config.xml
OSD: ost3-test ost3-test_UUID obdfilter /tmp/ost3-test 20000 ldiskfs no 0 0
OST mount options: errors=remount-ro
[root@myas4 home]# lconf --reformat --node node-ost1 config.xml
loading module: mdc srcdir None devdir mdc
loading module: osc srcdir None devdir osc
loading module: lov srcdir None devdir lov
loading module: mds srcdir None devdir mds
MDSDEV: mds-test mds-test_UUID /tmp/mds-test ldiskfs no
recording clients for filesystem: FS_fsname_UUID
Recording log mds-test on mds-test
LOV: lov_mds-test 322e5_lov_mds-test_37c8958c67 mds-test_UUID 0 1048576 0 0 [u'ost2-test_UUID', u'ost3-test_UUID'] mds-test
OSC: OSC_myas4_ost2-test_mds-test 322e5_lov_mds-test_37c8958c67 ost2-test_UUID
OSC: OSC_myas4_ost3-test_mds-test 322e5_lov_mds-test_37c8958c67 ost3-test_UUID
End recording log mds-test on mds-test
Recording log mds-test-clean on mds-test
LOV: lov_mds-test 322e5_lov_mds-test_37c8958c67
OSC: OSC_myas4_ost2-test_mds-test 322e5_lov_mds-test_37c8958c67
OSC: OSC_myas4_ost3-test_mds-test 322e5_lov_mds-test_37c8958c67
End recording log mds-test-clean on mds-test
MDSDEV: mds-test mds-test_UUID /tmp/mds-test ldiskfs 50000 no
MDS mount options: errors=remount-ro
[root@myas4 home]# lconf --node client config.xml
loading module: llite srcdir None devdir llite
LOV: lov-test 315f5_lov-test_5cc0aecb27 mds-test_UUID 0 1048576 0 0 [u'ost2-test_UUID', u'ost3-test_UUID'] mds-test
OSC: OSC_myas4_ost2-test_MNT_client 315f5_lov-test_5cc0aecb27 ost2-test_UUID
OSC: OSC_myas4_ost3-test_MNT_client 315f5_lov-test_5cc0aecb27 ost3-test_UUID
MDC: MDC_myas4_mds-test_MNT_client 5f7a5_MNT_client_18bac6f136 mds-test_UUID
MTPT: MNT_client MNT_client_UUID /mnt/lustre mds-test_UUID lov-test_UUID
里面出现errors=remount-ro不知道什么意思,但是能够加载
[root@myas4 home]# df
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
9643660 2965364 6188416 33% /
/dev/hda1 101086 15824 80043 17% /boot
none 127268 0 127268 0% /dev/shm
config 38712 8600 28112 24% /mnt/lustre
在192.168.3.112上面
[root@mylinux home]# lconf --node client config.xml
loading module: libcfs srcdir None devdir libcfs
loading module: portals srcdir None devdir portals
loading module: ksocknal srcdir None devdir knals/socknal
loading module: lvfs srcdir None devdir lvfs
loading module: obdclass srcdir None devdir obdclass
loading module: ptlrpc srcdir None devdir ptlrpc
loading module: osc srcdir None devdir osc
loading module: lov srcdir None devdir lov
loading module: mdc srcdir None devdir mdc
loading module: llite srcdir None devdir llite
NETWORK: NET_client_tcp NET_client_tcp_UUID tcp 127.0.0.1 988
LOV: lov-test e2bc6_lov-test_2dc07a950e mds-test_UUID 0 1048576 0 0 [u'ost2-test_UUID', u'ost3-test_UUID'] mds-test
OSC: OSC_mylinux_ost2-test_MNT_client e2bc6_lov-test_2dc07a950e ost2-test_UUID
OSC: OSC_mylinux_ost3-test_MNT_client e2bc6_lov-test_2dc07a950e ost3-test_UUID
MDC: MDC_mylinux_mds-test_MNT_client ed2d7_MNT_client_271d8afe64 mds-test_UUID
MTPT: MNT_client MNT_client_UUID /mnt/lustre mds-test_UUID lov-test_UUID
就一直这样,不动了
连接的NETWORK: NET_client_tcp NET_client_tcp_UUID tcp 127.0.0.1 988 晕。
[ 本帖最后由 chutianyin 于 2005-12-2 11:52 编辑 ]