DRBD同步非常慢，只有500K/S，负载飙升(已解决)

Question

本帖最后由 luckysammo_cu 于 2011-05-27 09:57 编辑

目标：
     DRBD + NFS 高可用
环境：
     * 千兆交换机 + 千兆网卡
     * CentOS release 5.4
     * DRBD 8.3.8
     * 分区使用ext3，大小1.2T
     * mount /dev/drbd0 /data
     * NFS共享/data目录
     * nfs1 DRBD主节点
     * nfs2 DRBD从节点
     * client1 NFS客户端
配置文件（两台机配置相同）：

1. global {
2.   usage-count yes;
3. }
5. common { syncer { al-extents 3389; rate 70M; } }
7. resource r0 {
8.   protocol C;
9.   startup {
10.     wfc-timeout 0;
11.     degr-wfc-timeout 120;
12.   }
14.   disk {
15.     on-io-error   detach;
16.    }
18.   net {
19.       timeout 60;
20.       connect-int 10;
21.       ping-int 10;
22.       max-buffers 2048;
23.       max-epoch-size 2048;
24.    }
26. on nfs1 {
27.    device    /dev/drbd0;
28.    disk      /dev/cciss/c0d0p4;
29.    address   192.168.1.3:7789;
30.    meta-disk internal;
31.   }
33. on nfs2 {
34.    device    /dev/drbd0;
35.    disk      /dev/cciss/c0d0p4;
36.    address   192.168.1.2:7789;
37.    meta-disk internal;
38.   }
39. }

复制代码测试：
   写入102MB的文件
   1、本机/data目录测试(正常)：

1. [root@nfs1 data]# time dd if=/dev/zero of=sometestfile3 bs=1024 count=100000
2. 100000+0 records in
3. 100000+0 records out
4. 102400000 bytes (102 MB) copied, 0.389642 seconds, 263 MB/s
6. real    0m0.398s
7. user    0m0.054s
8. sys     0m0.320s

复制代码每秒查看一次/proc/drbd:

1. [root@nfs1 data]# cat /proc/drbd
2. version: 8.3.8 (api:88/proto:86-94)
3. GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by mockbuild@builder10.centos.org, 2010-06-04 08:04:09
4. 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r----
5.     ns:108772 nr:0 dw:108988 dr:713 al:31 bm:1 lo:8 pe:2049 ua:0 ap:2048 ep:1 wo:b oos:0
6. [root@nfs1 data]# cat /proc/drbd
7. version: 8.3.8 (api:88/proto:86-94)
8. GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by mockbuild@builder10.centos.org, 2010-06-04 08:04:09
9. 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r----
10.     ns:109416 nr:0 dw:109576 dr:713 al:31 bm:1 lo:2 pe:2050 ua:0 ap:2049 ep:1 wo:b oos:0

复制代码PS: 查看dw时，1 秒钟也只同步了 109576 - 108988 = 588
2、NFS客户端测试（nfs1负载飙升）：
     mount -t nfs -o rsize=32768,wsize=32768,timeo=14,nfsvers=3,noatime,nolock 192.168.1.3:/data /mnt/test
    执行：

1. [root@client1]# time dd if=/dev/zero of=sometestfile3 bs=1024 count=100000
2. 100000+0 records in
3. 100000+0 records out
4. 102400000 bytes (102 MB) copied, 179.556 seconds, 570 kB/s
6. real    2m59.588s
7. user    0m0.043s
8. sys     0m0.256s

复制代码PS： 570 kB/s
       A、nfs1机器：load average从0升到10
       B、NFS客户端： 一直卡着，应该是等待从节点同步成功后，再结束。

求助：
    请大家帮忙看一下，非常感谢！

Answer 1

是什么硬盘？ 是不是被硬盘传输速度卡住了？

关于LOAD，试下 前面放个 ionice -c 3 , 应该可以降下来，我们这个服务器跑了30多个虚拟机的时候，在只有io空闲的情况下，大概是1Mb/s左右 (硬盘是SAS,具体速度不记得了)

Answer 2

谢谢lingg2010的回复。
HP服务器，SAS硬盘，6颗硬盘RAID 5阵列。
我早上把主从DRBD切换了一下，发现写nfs2机器时，速度可以达到13M左右。
我待会测试一下你给的方法。

Answer 3

本帖最后由 luckysammo_cu 于 2011-05-16 11:59 编辑

我测试了 ionice -c 3 ，负载还是很高。
我又做了一个测试了：
1、停止DRBD从机的同步：

1. [root@nfs2 ~]# /etc/init.d/drbd stop
2. Stopping all DRBD resources:

复制代码2、在DRBD主机，写入文件：

1. [root@nfs1 data]# time dd if=/dev/zero of=sometestfile5 bs=1024 count=100000

复制代码3、开启DRBD从机的同步：

1. [root@nfs2 ~]# cat /proc/drbd
2. version: 8.3.8 (api:88/proto:86-94)
3. GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by mockbuild@builder10.centos.org, 2010-06-04 08:04:09
4. 0: cs:SyncTarget ro:Secondary/Primary ds:Inconsistent/UpToDate C r----
5.     ns:0 nr:43780 dw:39300 dr:0 al:0 bm:2 lo:141 pe:3363 ua:140 ap:0 ep:1 wo:b oos:261224
6.         [=>..................] sync'ed: 14.9% (261224/300524)K queue_delay: 447.7 ms
7.         finish: 0:00:19 speed: 13,100 (13,100) want: 71,680 K/sec

复制代码PS：同步速度，也有13M左右。不明白，为什么实时同步时，传输只有几百K。

Answer 4

试下：
drbdsetup /dev/drbd/by-res/xxxx syncer -r 2M

相关文档：
http://www.drbd.org/users-guide/s-configure-syncer-rate.html

Answer 5

回复 5# lingg2010

谢谢 lingg2010 的回复。
我动态修改过 syncer ，都没效果，后来使用sysbench测试后，发现磁盘性能比较差。
现在已经换成RAID0了，速度可以达到42M。