lustre:如何选择监听哪一块网卡

Question

大家好，我是Lustre新手，向大家请教一些问题。

我装的1.4.10版lustre，我的OST主机启动成功了，但是在MDS上启动时：
启动MDS：

1. # lconf --node lustre-mds config.xml   
2. loading module: libcfs srcdir None devdir libcfs
3. loading module: lnet srcdir None devdir lnet
4. loading module: ksocklnd srcdir None devdir klnds/socklnd
5. loading module: lvfs srcdir None devdir lvfs
6. loading module: obdclass srcdir None devdir obdclass
7. loading module: ptlrpc srcdir None devdir ptlrpc
8. loading module: mdc srcdir None devdir mdc
9. loading module: osc srcdir None devdir osc
10. loading module: lov srcdir None devdir lov
11. loading module: mds srcdir None devdir mds
12. loading module: ldiskfs srcdir None devdir ldiskfs
13. loading module: fsfilt_ldiskfs srcdir None devdir lvfs
14. NETWORK: NET_lustre-mds_tcp NET_lustre-mds_tcp_UUID tcp lustre-mds
15. MDSDEV: mds-test mds-test_UUID /dev/sda9 ldiskfs 0 no
16. MDS mount options: errors=remount-ro
18. 一直停在这里不动了

复制代码
MDS端log显示：

1. Apr 27 18:38:38 mob24 kernel: LDISKFS-fs: mounted filesystem with ordered data mode.
2. Apr 27 18:38:38 mob24 kernel: LustreError: 4196:0:(socklnd_cb.c:2160:ksocknal_recv_hello()) Error -104 reading HELLO from 192.168.4.182
3. Apr 27 18:38:38 mob24 kernel: LustreError: Connection to 192.168.4.182@tcp at host 192.168.4.182 on port 988 was reset: is it running a compatible version of Lustre and is 192.168.4.182@tcp one of its NIDs?
4. Apr 27 18:38:38 mob24 kernel: Lustre: 12:0:(linux-debug.c:98:libcfs_run_upcall()) Invoked LNET upcall /usr/lib/lustre/lnet_upcall ROUTER_NOTIFY,192.168.4.182@tcp,down,1177669950

复制代码

且MDS一直尝试连接OST，但OST端log显示拒绝：

1. Apr 27 18:37:53 mob25 kernel: LustreError: Refusing connection from 192.168.4.181 for 192.168.4.182@tcp:  No matching NI

复制代码

为什么NI不匹配呢？NI是不是就是NID啊？？我的脚本有问题？：

1. #!/bin/bash
2. # Create node
3. rm -rf config.xml
4. lmc -m config.xml --add node --node lustre-mds
5. lmc -m config.xml --add node --node lustre-ost
6. lmc -m config.xml --add node --node lustre-client
7. lmc -m config.xml --add net --node lustre-mds --nid lustre-mds --nettype tcp
8. lmc -m config.xml --add net --node lustre-ost --nid lustre-ost --nettype tcp
9. lmc -m config.xml --add net --node lustre-client --nid '*' --nettype tcp
10. # Configure MDS
11. lmc -m config.xml --add mds --node lustre-mds --mds mds-test --fstype ext3 --dev /dev/sda9
12. # Configure LOV
13. lmc -m config.xml --add lov --lov lov-test --mds mds-test --stripe_sz 1048576 --stripe_cnt 0 --stripe_pattern 0
14. # Configure OSTs
15. lmc -m config.xml --add ost --node lustre-ost --lov lov-test --ost ost1-test --fstype ext3 --dev /dev/sda9
16. # Configure CLIENTs
17. lmc -m config.xml --add mtpt --node lustre-client --path /mnt/lustre --mds mds-test --lov lov-test

复制代码

希望得到指教。。。多谢了。。。。！

[ 本帖最后由 sealinger 于 2007-6-21 09:56 编辑 ]

Answer 1

发现问题原因：

我用三台机器做测试，mds,ost,client，每台机器都有两块网卡，但ost启动只监听eth0的公网IP，而我在hosts文件中配置的是指向eth1内网IP的，所以不能连接 192.168.4.182@tcp ，OST启动后：

1. # cat /proc/sys/lnet/nis
2. nid                      refs peer   max    tx   min
3. 0@lo                        2    0     0     0     0
4. 1**.*1.4.1**@tcp            1    8   256   256   256  #公网IP

复制代码

尝试更改/etc/modeprobe.conf文件为：

1. # vi /etc/modprobe.conf
3. alias eth0 e1000
4. alias eth1 e1000
5. alias scsi_hostadapter ata_piix
6. alias usb-controller ehci-hcd
7. alias usb-controller1 uhci-hcd
8. alias lustre llite
9. options lnet 'networks="tcp0(eth1)"'

复制代码

重启系统，重启OST，还是只监听1**.*1.4.1**@tcp 公网IP这个。。。

请教大侠该如何让lustre监听第2块网卡IP？

请大家能帮我解释一下下图的意思吗？

[ 本帖最后由 sealinger 于 2007-4-28 12:44 编辑 ]

Answer 2

没用过1.4的
options lnet networks=tcp试试看可以可以Listen到所有的ip

Answer 3

关闭iptables和ip6tables和selinux

Answer 4

我也遇到了同样的问题,按楼上的方法试了也不行,还有其他的办法吗,谢谢

Answer 5

原帖由 bdw 于 2007-4-28 13:41 发表于 3楼  
没用过1.4的
options lnet networks=tcp试试看可以可以Listen到所有的ip

使用这个配置依然只监听第1块网卡！

大家还有其他办法吗？？

Answer 6

你可以加到group156812@xiaoi.com 问问里面的人

Answer 7

晕 ，楼上是广告吧。。。

大家帮忙啊···

Answer 8

1是楼上得说得关掉selinux,解决不能连得问题
2是改成tcp1,解决监听eth0得问题