关于磁盘IO性能优化问题请教

Question

本帖最后由 liangjueming 于 2011-05-19 19:16 编辑

在一台利旧的系统中进行测试：
[hpux]/>time dd if=/dev/zero of=/data/test bs=4096k count=2000
    2000+0 个记录输入
    2000+0 个记录输出

    real       11.9
    user        0.0
    sys         9.7

但建一个8G的表空间需要5分钟，而同一个环境下，还有一次用了30多分钟。

请问磁盘IO是否出现问题，如何进行优化呢？

[HPUX]/>sar -d 5 300

HP-UX  B.11.31 U ia64    05/17/11

17:50:04   device   %busy   avque   r+w/s  blks/s  avwait  avserv
17:50:09    disk2    0.80    0.70       1      31    5.56    6.83
                   disk3    2.59    0.62       5     110    2.89    5.47
17:50:14    disk2   68.00   21.08      83   29691  154.36    8.15
                  disk3   21.20   25.83      35     546  152.25    6.05
17:50:19    disk2   99.40    7.15     110   56324   68.08    9.01
                  disk3    0.80    0.50       2      33    0.00    5.26
17:50:24    disk2   99.40    7.18     111   56428   67.73    8.96
                  disk3    2.00    0.50       4      71    0.37    4.76
17:50:29    disk2   99.40    7.52     110   55015   71.80    9.06
                 disk3    3.60    2.40       6      93   17.23    6.11
17:50:34    disk2   99.60    7.16     110   56221   68.02    9.03
                  disk3    1.40    0.50       3      47    0.00    5.52

谢谢啦。。。

晚上再次尝试2次复制同一文件，时间相差很远。。。
[HPUX]/>time cp -R /app/source /data/test

real     1:03.5
user        0.0
sys         8.6

[HPUX]/>time cp -R /app/source /data/test

real       10.6
user        0.0
sys         6.7

Answer 1

应该是disk2的硬盘有问题，请检查这快盘

Answer 2

回复 2# angle_yama

估计是文件系统建在DISK3上使用率高的原因，另一个文件系统就不一样的结果。

18:55:32    disk2    3.99    0.50       8     235    0.00    4.67
                  disk3   33.89    0.65     312   31946    0.49    1.95
18:55:35    disk2    3.68    0.50       8     196    0.00    4.72
                  disk3   35.79    0.55     378   40668    0.20    1.34
18:55:38    disk2   23.00    0.51     179   22749    0.37    6.94
                  disk3   24.00    0.56     179   22829    0.69    7.61
18:55:41    disk2   74.67    1.70     492   62691    2.80    9.46
                  disk3   72.33    2.63     492   62497    4.77    9.26
18:55:44    disk2  100.00   25.94     494   62899   56.83   15.79
                  disk3   98.00   10.34     507   64737   21.11   14.37
18:55:47    disk2   99.67   58.50     406   51529  139.89   19.63
                  disk3   99.67   31.53     415   52708   75.76   19.41

Answer 3

信息太少了
看不出来

Answer 4

回复 4# InfoSVC

还需要什么信息？请指教。

Answer 5

vg信息
lv信息
fs信息
以及datafile 对应的文件系统信息
暂时是这些吧

Answer 6

回复 6# InfoSVC

VG 名                       /dev/vg00
VG 写操作                   读/写        
VG 状态                     可用                     
最大 LV                     255   
当前 LV                     12     
打开 LV                     12     
最大 PV                     16     
当前 PV                     2      
活动 PV                     2      
每个 PV 的最大 PE           4466            
VGDA                        4   
PE 大小 (MB)                64         
PE 合计                     8912   
分配 PE                     4872   
空闲 PE                     4040   
PVG 合计                    0      
备用 PV 合计                0           
正在使用的备用 PV 合计      0                     
VG 版本                     1.0      
VG 最大容量                 4466g      
VG 最多盘区数               71456  

   LV 名称                     /dev/vg00/app
   LV 状态                     可用/同步                 
   LV 大小 (MB)                204800      
   当前 LE                     3200   
   已分配 PE                   3200     
   已用 PV                     2  
   
   
    --- 物理卷 ---
   PV 名                       /dev/disk/disk3_p2
   PV 状态                     可用                     
   PE 合计                     4456   
   空闲 PE                     1741   
   自动切换                    开      
   主动轮询                    启动   

   PV 名                       /dev/disk/disk2_p2
   PV 状态                     可用                     
   PE 合计                     4456   
   空闲 PE                     2299   
   自动切换                    开      
   主动轮询                    启动   
   
   
   
   LV 名称                     /dev/vg00/app
VG 名                       /dev/vg00
LV 权限                     读/写                     
LV 状态                     可用/同步                 
镜像复制                    0            
一致性恢复                  MWC         
进度表                      并行的        
LV 大小 (MB)                204800      
当前 LE                     3200   
已分配 PE                   3200     
条块                        0      
条块空间的大小 (KB)         0                  
坏区块                      开启         
分配                        严格                     
IO 超时（秒）               缺省值      

   --- 逻辑卷的分配 ---
   PV 名                   PV 中的 LE PV 中的 PE
   /dev/disk/disk3_p2      1743       1743      
   /dev/disk/disk2_p2      1457       1457     
   
   
   /dev/vg00/app     209715200 82829931 118955736   41% /app
   
   
   LV 名称                     /dev/vg00/data
VG 名                       /dev/vg00
LV 权限                     读/写
LV 状态                     可用/同步
镜像复制                    0
一致性恢复                  MWC
进度表                      已条块化
LV 大小 (MB)                102400
当前 LE                     1600
已分配 PE                   1600
条块                        2
条块空间的大小 (KB)         64
坏区块                      无
分配                        严格
IO 超时（秒）               缺省值
Type                        LVM

/dev/vg00/data   10485760 4857783 5276610   48% /data
   
   谢谢。

  内存32G，SWAP为8G。会不会是交换分区过小呢？测试时查看内存使用不是很厉害，就是读写不稳定。

Answer 7

首先swap区肯定是小了
建议扩展到32G

其次
data的文件系统是做了条带的?
data的文件系统是用来方datafile的?
app呢?

Answer 8

回复 8# InfoSVC

尝试扩到28G，但是现实只用到1G，有9G受到限制。

[HPUX]/>swapinfo
             Kb      Kb      Kb   PCT  START/      Kb
TYPE      AVAIL    USED    FREE  USED   LIMIT RESERVE  PRI  NAME
dev     8388608       0 8388608    0%       0       -    1  /dev/vg00/lvol2
dev     1048576       0 1048576    0% 9437184       -    1  /dev/vg00/myswap
reserve       - 8256188 -8256188
memory  31751220 10824204 20927016   34%

因为想看下条带化是否有明显的效果，所以/app是没做条带的，/data是做了条带化的。

分别从/app中复制4G的文件到 /app和/data下，时间上没有明显的提高。但是同样的文件复制到同个目录下，时间的差异性很大，目前想查下原因何在。

Answer 9

dd一下两块盘吧
看看是不是存在逻辑坏道