设置共享磁盘的设备号遇到的问题

Question

本帖最后由 davidh2y 于 2011-05-30 15:54 编辑

2台hp机器，共享3颗磁盘：按照红宝书的prodedure 1操作后，结果如下：

root@test6:/>ioscan -f | grep -e INTERFACE -e DEVICE | grep -v target | awk '{print $3, $1, $2}'
0/0/0/0 ext_bus 4
0/0/0/0.0.0 disk 1
0/0/0/0.1.0 disk 11
0/0/0/0.2.0 disk 25
0/0/0/0.3.0 disk 27
0/0/1/0 lan 3
0/0/2/0 lan 4
0/0/3/0/1 tty 4
250/0 ipmi 0
250/1 acpi_node 1
255/1/0 ext_bus 3

root@test7:/>ioscan -f | grep -e INTERFACE -e DEVICE | grep -v target | awk '{print $3, $1, $2}'
0/0/0/0 ext_bus 4
0/0/0/0.0.0 disk 1
0/0/0/0.1.0 disk 11
0/0/0/0.2.0 disk 25
0/0/0/0.3.0 disk 27
0/0/1/0 lan 3
0/0/2/0 lan 4
0/0/3/0/1 tty 4
250/0 ipmi 0
250/1 acpi_node 1
255/1/0 ext_bus 3

可是从ioscan -m lun 返回的结果却不是预期结果：
root@test6:/>ioscan -m lun
Class     I  Lun H/W Path  Driver  S/W State   H/W Type     Health  Description
======================================================================
disk     13  64000/0xfa00/0x1e   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x0.0x0
                      /dev/disk/disk13      /dev/disk/disk13_p2   /dev/rdisk/disk13     /dev/rdisk/disk13_p2
                      /dev/disk/disk13_p1   /dev/disk/disk13_p3   /dev/rdisk/disk13_p1  /dev/rdisk/disk13_p3
disk     14  64000/0xfa00/0x22   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x1.0x0
                      /dev/disk/disk14   /dev/rdisk/disk14
disk     16  64000/0xfa00/0x23   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x2.0x0
                      /dev/disk/disk16   /dev/rdisk/disk16
disk     18  64000/0xfa00/0x24   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x3.0x0
                      /dev/disk/disk18   /dev/rdisk/disk18

root@test7:/>ioscan -m lun
Class     I  Lun H/W Path  Driver  S/W State   H/W Type     Health  Description
======================================================================
disk     12  64000/0xfa00/0x1a   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x0.0x0
                      /dev/disk/disk12      /dev/disk/disk12_p2   /dev/rdisk/disk12     /dev/rdisk/disk12_p2
                      /dev/disk/disk12_p1   /dev/disk/disk12_p3   /dev/rdisk/disk12_p1  /dev/rdisk/disk12_p3
disk     13  64000/0xfa00/0x1e   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x1.0x0
                      /dev/disk/disk13   /dev/rdisk/disk13
disk     15  64000/0xfa00/0x1f   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x2.0x0
                      /dev/disk/disk15   /dev/rdisk/disk15
disk     17  64000/0xfa00/0x20   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x3.0x0
                      /dev/disk/disk17   /dev/rdisk/disk17

root@test6:/>ll /dev/rdsk
total 0
crw-r-----   1 bin        sys        188 0x001000 Nov 12  2010 c0t1d0
crw-r-----   1 bin        sys        188 0x040000 Nov 12  2010 c4t0d0
crw-r-----   1 bin        sys        188 0x040001 Nov 12  2010 c4t0d0s1
crw-r-----   1 bin        sys        188 0x040002 Nov 12  2010 c4t0d0s2
crw-r-----   1 bin        sys        188 0x040003 Nov 12  2010 c4t0d0s3
crw-r-----   1 bin        sys        188 0x041000 Nov 12  2010 c4t1d0
crw-r-----   1 bin        sys        188 0x041001 Mar 18 13:34 c4t1d0s1
crw-r-----   1 bin        sys        188 0x041002 Mar 18 13:34 c4t1d0s2
crw-r-----   1 bin        sys        188 0x041003 Mar 18 13:34 c4t1d0s3
crw-r-----   1 bin        sys        188 0x042000 Apr 19 12:35 c4t2d0
crw-r-----   1 bin        sys        188 0x043000 Apr 19 12:36 c4t3d0
crw-r-----   1 bin        sys        188 0x045000 Jan  6 11:27 c4t5d0
crw-r-----   1 bin        sys        188 0x046000 Mar 14 15:54 c4t6d0
crw-r-----   1 bin        sys        188 0x047000 Mar 18 10:32 c4t7d0
crw-r-----   1 bin        sys        188 0x047001 Mar 18 10:35 c4t7d0s1
crw-r-----   1 bin        sys        188 0x047002 Mar 18 10:35 c4t7d0s2

root@test7:/>ll /dev/rdsk
total 0
crw-r-----   1 bin        sys        188 0x001000 Nov 12  2010 c0t1d0
crw-r-----   1 bin        sys        188 0x040000 Nov 12  2010 c4t0d0
crw-r-----   1 bin        sys        188 0x040001 Nov 12  2010 c4t0d0s1
crw-r-----   1 bin        sys        188 0x040002 Nov 12  2010 c4t0d0s2
crw-r-----   1 bin        sys        188 0x040003 Nov 12  2010 c4t0d0s3
crw-r-----   1 bin        sys        188 0x041000 Nov 12  2010 c4t1d0
crw-r-----   1 bin        sys        188 0x041001 Mar 18 13:34 c4t1d0s1
crw-r-----   1 bin        sys        188 0x041002 Mar 18 13:34 c4t1d0s2
crw-r-----   1 bin        sys        188 0x041003 Mar 18 13:34 c4t1d0s3
crw-r-----   1 bin        sys        188 0x042000 Apr 19 12:36 c4t2d0
crw-r-----   1 bin        sys        188 0x043000 Apr 19 12:36 c4t3d0
crw-r-----   1 bin        sys        188 0x045000 Jan  6 11:27 c4t5d0
crw-r-----   1 bin        sys        188 0x046000 Mar 14 15:54 c4t6d0
crw-r-----   1 bin        sys        188 0x047000 Mar 18 10:32 c4t7d0
crw-r-----   1 bin        sys        188 0x047001 Mar 18 10:35 c4t7d0s1
crw-r-----   1 bin        sys        188 0x047002 Mar 18 10:35 c4t7d0s2
crw-r-----   1 bin        sys        188 0x047003 Mar 18 10:35 c4t7d0s3

root@test6:/>ioscan -fnC disk
Class     I  H/W Path     Driver S/W State   H/W Type     Description
=====================================================================
disk      1  0/0/0/0.0.0  sdisk   CLAIMED     DEVICE       HP      Virtual Disk
                         /dev/dsk/c4t0d0     /dev/dsk/c4t0d0s2   /dev/rdsk/c4t0d0    /dev/rdsk/c4t0d0s2
                         /dev/dsk/c4t0d0s1   /dev/dsk/c4t0d0s3   /dev/rdsk/c4t0d0s1  /dev/rdsk/c4t0d0s3
disk     11  0/0/0/0.1.0  sdisk   CLAIMED     DEVICE       HP      Virtual Disk
                         /dev/dsk/c4t1d0     /dev/dsk/c4t1d0s2   /dev/rdsk/c4t1d0    /dev/rdsk/c4t1d0s2
                         /dev/dsk/c4t1d0s1   /dev/dsk/c4t1d0s3   /dev/rdsk/c4t1d0s1  /dev/rdsk/c4t1d0s3
disk     25  0/0/0/0.2.0  sdisk   CLAIMED     DEVICE       HP      Virtual Disk
                         /dev/dsk/c4t2d0   /dev/rdsk/c4t2d0
disk     27  0/0/0/0.3.0  sdisk   CLAIMED     DEVICE       HP      Virtual Disk
                         /dev/dsk/c4t3d0   /dev/rdsk/c4t3d0

root@test7:/>ioscan -fnC disk
Class     I  H/W Path     Driver S/W State   H/W Type     Description
=====================================================================
disk      1  0/0/0/0.0.0  sdisk   CLAIMED     DEVICE       HP      Virtual Disk
                         /dev/dsk/c4t0d0     /dev/dsk/c4t0d0s2   /dev/rdsk/c4t0d0    /dev/rdsk/c4t0d0s2
                         /dev/dsk/c4t0d0s1   /dev/dsk/c4t0d0s3   /dev/rdsk/c4t0d0s1  /dev/rdsk/c4t0d0s3
disk     11  0/0/0/0.1.0  sdisk   CLAIMED     DEVICE       HP      Virtual Disk
                         /dev/dsk/c4t1d0     /dev/dsk/c4t1d0s2   /dev/rdsk/c4t1d0    /dev/rdsk/c4t1d0s2
                         /dev/dsk/c4t1d0s1   /dev/dsk/c4t1d0s3   /dev/rdsk/c4t1d0s1  /dev/rdsk/c4t1d0s3
disk     25  0/0/0/0.2.0  sdisk   CLAIMED     DEVICE       HP      Virtual Disk
                         /dev/dsk/c4t2d0   /dev/rdsk/c4t2d0
disk     27  0/0/0/0.3.0  sdisk   CLAIMED     DEVICE       HP      Virtual Disk
                         /dev/dsk/c4t3d0   /dev/rdsk/c4t3d0

执行ioscan -fnC disk返回的instance number相同，而ioscan -m lun返回的不同！
要如何正确设置，才能让ioscan -m lun返回相同的instance number?

Answer 1

ioscan -n看的是legacy 的instance number
ioscan -m lun 看的是persistent的instance number

你想要哪种方式的instance number一致？

Answer 2

本帖最后由 davidh2y 于 2011-05-31 13:30 编辑

需要persistent的instance number 设为一致。
顺便问一下，这2个有什么区别？

Answer 3

legacy设备文件是cxtxdx
persistent设备文件是diskx

persistent是hpux 11.31才有的，diskx其实是聚合的路径。
使用ioscan -m dsf 可以看到两者之间的关系。

Answer 4

本帖最后由 davidh2y 于 2011-05-31 17:32 编辑

回复 4# hetg407

分别执行如下：

root@test6:/oracle11>ioscan -m dsf
Persistent DSF           Legacy DSF(s)
========================================
/dev/rdisk/disk13        /dev/rdsk/c4t0d0
/dev/rdisk/disk13_p1     /dev/rdsk/c4t0d0s1
/dev/rdisk/disk13_p2     /dev/rdsk/c4t0d0s2
/dev/rdisk/disk13_p3     /dev/rdsk/c4t0d0s3
/dev/rdisk/disk14        /dev/rdsk/c4t1d0
/dev/rdisk/disk16        /dev/rdsk/c4t2d0
/dev/rdisk/disk18        /dev/rdsk/c4t3d0

root@test7:/>ioscan -m dsf
Persistent DSF           Legacy DSF(s)
========================================
/dev/rdisk/disk12        /dev/rdsk/c4t0d0
/dev/rdisk/disk12_p1     /dev/rdsk/c4t0d0s1
/dev/rdisk/disk12_p2     /dev/rdsk/c4t0d0s2
/dev/rdisk/disk12_p3     /dev/rdsk/c4t0d0s3
/dev/rdisk/disk13        /dev/rdsk/c4t1d0
/dev/rdisk/disk15        /dev/rdsk/c4t2d0
/dev/rdisk/disk17        /dev/rdsk/c4t3d0

要把/dev/rdsk/c4t1d0，/dev/rdsk/c4t2d0，/dev/rdsk/c4t3d0这2个永久设备号做成一样，该如何做？

Answer 5

1、生成infile文件
# cd /tmp
# ioscan -kNf | grep ^disk | awk '{printf "%s %s %s\n",$3,$1,$2}' > infile

2、修改infile文件

3、执行ioinit，完成修改
# ioinit -f ./infile

4、删除原disk

Answer 6

本帖最后由 davidh2y 于 2011-06-01 14:42 编辑

回复 6# hetg407

   执行步骤( 在test7执行)：
1. cd /tmp
  ioscan -kNf | grep ^disk | awk '{printf "%s %s %s\n",$3,$1,$2}' > infile
2、修改infile文件
  修改后的文件：

root@test7:/tmp>more infile
64000/0xfa00/0x1a disk 12
64000/0xfa00/0x1e disk 14
64000/0xfa00/0x1f disk 16
64000/0xfa00/0x20 disk 18

3、执行ioinit，完成修改
# ioinit -f ./infile

4.删除原disk
  rmsf -x

执行后的结果：
ioscan -m lun

root@test7:/>ioscan -m lun
Class     I  Lun H/W Path  Driver  S/W State   H/W Type     Health  Description
======================================================================
disk     12  64000/0xfa00/0x1a   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x0.0x0
                      /dev/disk/disk12      /dev/disk/disk12_p2   /dev/rdisk/disk12     /dev/rdisk/disk12_p2
                      /dev/disk/disk12_p1   /dev/disk/disk12_p3   /dev/rdisk/disk12_p1  /dev/rdisk/disk12_p3
disk     14  64000/0xfa00/0x1e   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x1.0x0
                      /dev/disk/disk13   /dev/disk/disk14   /dev/rdisk/disk13  /dev/rdisk/disk14
disk     16  64000/0xfa00/0x1f   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x2.0x0
                      /dev/disk/disk15   /dev/disk/disk16   /dev/rdisk/disk15  /dev/rdisk/disk16
disk     18  64000/0xfa00/0x20   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x3.0x0
                      /dev/disk/disk17   /dev/disk/disk18   /dev/rdisk/disk17  /dev/rdisk/disk18

和test6比较：
root@test6:/>ioscan -m lun
Class     I  Lun H/W Path  Driver  S/W State   H/W Type     Health  Description
======================================================================
disk     13  64000/0xfa00/0x1e   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x0.0x0
                      /dev/disk/disk13      /dev/disk/disk13_p2   /dev/rdisk/disk13     /dev/rdisk/disk13_p2
                      /dev/disk/disk13_p1   /dev/disk/disk13_p3   /dev/rdisk/disk13_p1  /dev/rdisk/disk13_p3
disk     14  64000/0xfa00/0x22   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x1.0x0
                      /dev/disk/disk14   /dev/rdisk/disk14
disk     16  64000/0xfa00/0x23   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x2.0x0
                      /dev/disk/disk16   /dev/rdisk/disk16
disk     18  64000/0xfa00/0x24   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x3.0x0
                      /dev/disk/disk18   /dev/rdisk/disk18
这里test6:instance number和/dev/disk/diskNN  编号一致，而test7:instance number 却和/dev/disk/diskNN 不一致。
导致最后安装11g 的clusterware 报错。
安装过程中选择disk 18（diskgroup :crs_dg）作为默认的dg(存放ocr和voting disk).

test6 执行root.sh成功，test7执行root.sh报错，“Timed out waiting for the CRS stack to start”
查crsd.log：OCR context init failure.  Error: PROC-26: Error while accessing the physical storage ASM error [SLOS: cat=8, opn=kgfo
OpenFile01, dep=15056, loc=kgfokge
查alerttest7.log :The OCR location in an ASM disk group is inaccessible

我怀疑是在test7的编号不一致导致？如何处理，让test7的ioscan -m lun输出和test6的完全一样（在共享磁盘）。

Answer 7

rmsf /dev/disk/disk13
rmsf /dev/rdisk/disk13

Answer 8

本帖最后由 davidh2y 于 2011-06-01 16:13 编辑

回复 8# hetg407

root@test6:/dev/rdsk>ioscan -m lun
Class     I  Lun H/W Path  Driver  S/W State   H/W Type     Health  Description
======================================================================
disk     13  64000/0xfa00/0x1e   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x0.0x0
                      /dev/disk/disk13      /dev/disk/disk13_p2   /dev/rdisk/disk13     /dev/rdisk/disk13_p2
                      /dev/disk/disk13_p1   /dev/disk/disk13_p3   /dev/rdisk/disk13_p1  /dev/rdisk/disk13_p3
disk     14  64000/0xfa00/0x22   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x1.0x0
                      /dev/disk/disk14   /dev/rdisk/disk14
disk     16  64000/0xfa00/0x23   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x2.0x0
                      /dev/disk/disk16   /dev/rdisk/disk16
disk     18  64000/0xfa00/0x24   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x3.0x0
                      /dev/disk/disk18   /dev/rdisk/disk18

root@test7:/tmp>ioscan -m lun
Class     I  Lun H/W Path  Driver  S/W State   H/W Type     Health  Description
======================================================================
disk     12  64000/0xfa00/0x1a   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x0.0x0
                      /dev/disk/disk12      /dev/disk/disk12_p2   /dev/rdisk/disk12     /dev/rdisk/disk12_p2
                      /dev/disk/disk12_p1   /dev/disk/disk12_p3   /dev/rdisk/disk12_p1  /dev/rdisk/disk12_p3
disk     14  64000/0xfa00/0x1e   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x1.0x0
                      /dev/disk/disk14   /dev/rdisk/disk14
disk     16  64000/0xfa00/0x1f   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x2.0x0
                      /dev/disk/disk16   /dev/rdisk/disk16
disk     18  64000/0xfa00/0x20   esdisk  CLAIMED     DEVICE       online  HP      Virtual Disk      
             0/0/0/0.0x3.0x0
                      /dev/disk/disk18   /dev/rdisk/disk18

相同的instance number 14,可是test6 为64000/0xfa00/0x22，而test7为64000/0xfa00/0x1e。如何设为一致？

Answer 9

这个改不了的，和设备硬件有关。