oracle11.2.0.3RAC启动vip和监听提示IP地址已经在使用

chuan128

服务器是在vmware虚拟化平台上的两个虚拟机。
操作系统平台：Red Hat Enterprise Linux Server release 5.9 64bit
数据库软件：Oracle Database 11.2.0.3.0 RAC
现象：昨天晚上将两个节点关机后，用vmware迁移功能将虚拟机文件迁移到另外一个存储上，启动节点后，使用命令检查集群资源状态：
节点rac01：
[grid@rac01 ~]$ crsctl stat res -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS      
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.ARCH.dg
               ONLINE  ONLINE       rac01                                       
ora.DATA.dg
               ONLINE  ONLINE       rac01                                       
ora.LISTENER.lsnr
               ONLINE  ONLINE       rac01                                       
ora.OCR.dg
               ONLINE  ONLINE       rac01                                       
ora.asm
               ONLINE  ONLINE       rac01                    Started            
ora.gsd
               ONLINE  OFFLINE      rac01                                       
ora.net1.network
               ONLINE  ONLINE       rac01                                       
ora.ons
               ONLINE  ONLINE       rac01                                       
ora.registry.acfs
               ONLINE  ONLINE       rac01                                       
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  ONLINE       rac01                                       
ora.cvu
      1        ONLINE  ONLINE       rac01                                       
ora.oc4j
      1        OFFLINE OFFLINE                                                   
ora.rac01.vip
      1        ONLINE  ONLINE       rac01                                       
ora.rac02.vip
      1        ONLINE  INTERMEDIATE rac01                    FAILED OVER         
ora.racdb.db
      1        ONLINE  ONLINE       rac01                    Open               
      2        OFFLINE OFFLINE                                                   
ora.racdb2.db
      1        ONLINE  ONLINE       rac01                    Open               
      2        OFFLINE OFFLINE                                                   
ora.scan1.vip
      1        ONLINE  ONLINE       rac01                                       
[grid@rac01 ~]$
[grid@rac01 ~]$ crs_stat -t -v
Name           Type           R/RA   F/FT   Target    State     Host        
----------------------------------------------------------------------
ora.ARCH.dg    ora....up.type 0/5    0/     ONLINE    ONLINE    rac01      
ora.DATA.dg    ora....up.type 0/5    0/     ONLINE    ONLINE    rac01      
ora....ER.lsnr ora....er.type 0/5    0/     ONLINE    ONLINE    rac01      
ora....N1.lsnr ora....er.type 0/5    0/0    ONLINE    ONLINE    rac01      
ora.OCR.dg     ora....up.type 0/5    0/     ONLINE    ONLINE    rac01      
ora.asm        ora.asm.type   0/5    0/     ONLINE    ONLINE    rac01      
ora.cvu        ora.cvu.type   0/5    0/0    ONLINE    ONLINE    rac01      
ora.gsd        ora.gsd.type   0/5    0/     ONLINE    OFFLINE               
ora....network ora....rk.type 0/5    0/     ONLINE    ONLINE    rac01      
ora.oc4j       ora.oc4j.type  0/1    0/2    OFFLINE   OFFLINE               
ora.ons        ora.ons.type   0/3    0/     ONLINE    ONLINE    rac01      
ora....SM1.asm application    0/5    0/0    ONLINE    ONLINE    rac01      
ora....01.lsnr application    0/5    0/0    ONLINE    ONLINE    rac01      
ora.rac01.gsd  application    0/5    0/0    ONLINE    OFFLINE               
ora.rac01.ons  application    0/3    0/0    ONLINE    ONLINE    rac01      
ora.rac01.vip  ora....t1.type 0/0    0/0    ONLINE    ONLINE    rac01      
ora.rac02.vip  ora....t1.type 0/0    0/0    ONLINE    ONLINE    rac01      
ora.racdb.db   ora....se.type 0/2    0/1    ONLINE    ONLINE    rac01      
ora.racdb2.db  ora....se.type 0/2    0/1    ONLINE    ONLINE    rac01      
ora....ry.acfs ora....fs.type 0/5    0/     ONLINE    ONLINE    rac01      
ora.scan1.vip  ora....ip.type 0/0    0/0    ONLINE    ONLINE    rac01      
[grid@rac01 ~]$

节点rac02：
[grid@rac02 ~]$ crs_stat -t -v
Name           Type           R/RA   F/FT   Target    State     Host        
----------------------------------------------------------------------
ora.ARCH.dg    ora....up.type 0/5    0/     ONLINE    ONLINE    rac02      
ora.DATA.dg    ora....up.type 0/5    0/     ONLINE    ONLINE    rac02      
ora....ER.lsnr ora....er.type 0/5    0/     ONLINE    OFFLINE               
ora....N1.lsnr ora....er.type 0/5    0/0    ONLINE    OFFLINE               
ora.OCR.dg     ora....up.type 0/5    0/     ONLINE    ONLINE    rac02      
ora.asm        ora.asm.type   0/5    0/     ONLINE    ONLINE    rac02      
ora.cvu        ora.cvu.type   0/5    0/0    ONLINE    ONLINE    rac02      
ora.gsd        ora.gsd.type   0/5    0/     ONLINE    OFFLINE               
ora....network ora....rk.type 0/5    0/     ONLINE    ONLINE    rac02      
ora.oc4j       ora.oc4j.type  0/1    0/2    ONLINE    ONLINE    rac02      
ora.ons        ora.ons.type   0/3    0/     ONLINE    ONLINE    rac02      
ora.rac01.vip  ora....t1.type 0/0    0/0    ONLINE    OFFLINE               
ora....SM2.asm application    0/5    0/0    ONLINE    ONLINE    rac02      
ora....02.lsnr application    0/5    0/0    ONLINE    OFFLINE               
ora.rac02.gsd  application    0/5    0/0    ONLINE    OFFLINE               
ora.rac02.ons  application    0/3    0/0    ONLINE    ONLINE    rac02      
ora.rac02.vip  ora....t1.type 0/0    0/0    ONLINE    OFFLINE               
ora.racdb.db   ora....se.type 0/2    0/1    ONLINE    ONLINE    rac02      
ora.racdb2.db  ora....se.type 0/2    0/1    ONLINE    ONLINE    rac02      
ora....ry.acfs ora....fs.type 0/5    0/     ONLINE    ONLINE    rac02      
ora.scan1.vip  ora....ip.type 0/0    0/0    ONLINE    OFFLINE               
[grid@rac02 ~]$
[grid@rac02 ~]$ crsctl stat res -t
--------------------------------------------------------------------------------
NAME           TARGET  STATE        SERVER                   STATE_DETAILS      
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.ARCH.dg
               ONLINE  ONLINE       rac02                                       
ora.DATA.dg
               ONLINE  ONLINE       rac02                                       
ora.LISTENER.lsnr
               ONLINE  OFFLINE      rac02                                       
ora.OCR.dg
               ONLINE  ONLINE       rac02                                       
ora.asm
               ONLINE  ONLINE       rac02                    Started            
ora.gsd
               ONLINE  OFFLINE      rac02                                       
ora.net1.network
               ONLINE  ONLINE       rac02                                       
ora.ons
               ONLINE  ONLINE       rac02                                       
ora.registry.acfs
               ONLINE  ONLINE       rac02                                       
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1        ONLINE  OFFLINE                                                   
ora.cvu
      1        ONLINE  ONLINE       rac02                                       
ora.oc4j
      1        ONLINE  ONLINE       rac02                                       
ora.rac01.vip
      1        ONLINE  OFFLINE                                                   
ora.rac02.vip
      1        ONLINE  OFFLINE                                                   
ora.racdb.db
      1        ONLINE  OFFLINE                                                   
      2        ONLINE  ONLINE       rac02                    Open               
ora.racdb2.db
      1        ONLINE  OFFLINE                                                   
      2        ONLINE  ONLINE       rac02                    Open               
ora.scan1.vip
      1        ONLINE  OFFLINE                                                   
[grid@rac02 ~]$
在第二个节点启动vip和监听时提示CRS-5005: IP Address: 192.168.104.58 is already in use in the network
[grid@rac02 ~]$ srvctl start listener  -n rac02
PRCR-1013 : Failed to start resource ora.LISTENER.lsnr
PRCR-1064 : Failed to start resource ora.LISTENER.lsnr on node rac02
CRS-5017: The resource action "ora.rac02.vip start" encountered the following error:
CRS-5005: IP Address: 192.168.104.58 is already in use in the network
. For details refer to "(:CLSN00107" in "/u01/app/11.2.0/grid/log/rac02/agent/crsd/orarootagent_root/orarootagent_root.log".
CRS-2674: Start of 'ora.rac02.vip' on 'rac02' failed
[grid@rac02 ~]$ cd /u01/app/11.2.0/grid/log/rac02/agent/crsd/orarootagent_root/
[grid@rac02 orarootagent_root]$ date
Sat Mar 29 03:56:11 CST 2014
[grid@rac02 orarootagent_root]$

chuan128

节点rac01的IP地址：
[root@rac01 ~]# ifconfig -a
eth0      Link encap:Ethernet  HWaddr 00:50:56:90:32:6F  
          inet addr:192.168.104.55  Bcast:192.168.104.255  Mask:255.255.255.0
          inet6 addr: fe80::250:56ff:fe90:326f/64 Scopeink
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:1253666 errors:0 dropped:0 overruns:0 frame:0
          TX packets:924301 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:218171333 (208.0 MiB)  TX bytes:232867516 (222.0 MiB)
eth0:1    Link encap:Ethernet  HWaddr 00:50:56:90:32:6F  
          inet addr:192.168.104.59  Bcast:192.168.104.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
eth0:2    Link encap:Ethernet  HWaddr 00:50:56:90:32:6F  
          inet addr:192.168.104.58  Bcast:192.168.104.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
eth0:3    Link encap:Ethernet  HWaddr 00:50:56:90:32:6F  
          inet addr:192.168.104.57  Bcast:192.168.104.255  Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
eth1      Link encap:Ethernet  HWaddr 00:50:56:90:64:97  
          inet addr:10.0.104.55  Bcast:10.0.104.255  Mask:255.255.255.0
          inet6 addr: fe80::250:56ff:fe90:6497/64 Scopeink
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:99430 errors:0 dropped:0 overruns:0 frame:0
          TX packets:102086 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:76900728 (73.3 MiB)  TX bytes:64652083 (61.6 MiB)
eth1:1    Link encap:Ethernet  HWaddr 00:50:56:90:64:97  
          inet addr:169.254.161.116  Bcast:169.254.255.255  Mask:255.255.0.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
lo        Link encapocal Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:345993 errors:0 dropped:0 overruns:0 frame:0
          TX packets:345993 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:1484066565 (1.3 GiB)  TX bytes:1484066565 (1.3 GiB)
sit0      Link encap:IPv6-in-IPv4  
          NOARP  MTU:1480  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)

节点rac02的ip
[root@rac02 ~]# ifconfig -a
eth0      Link encap:Ethernet  HWaddr 00:50:56:90:23:47  
          inet addr:192.168.104.56  Bcast:192.168.104.255  Mask:255.255.255.0
          inet6 addr: fe80::250:56ff:fe90:2347/64 Scopeink
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:95863 errors:0 dropped:0 overruns:0 frame:0
          TX packets:79635 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:28267551 (26.9 MiB)  TX bytes:35218960 (33.5 MiB)
eth1      Link encap:Ethernet  HWaddr 00:50:56:90:42:0E  
          inet addr:10.0.104.56  Bcast:10.0.104.255  Mask:255.255.255.0
          inet6 addr: fe80::250:56ff:fe90:420e/64 Scopeink
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:109831 errors:0 dropped:0 overruns:0 frame:0
          TX packets:92921 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:65317983 (62.2 MiB)  TX bytes:76642180 (73.0 MiB)
eth1:1    Link encap:Ethernet  HWaddr 00:50:56:90:42:0E  
          inet addr:169.254.148.217  Bcast:169.254.255.255  Mask:255.255.0.0
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
lo        Link encapocal Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:267243 errors:0 dropped:0 overruns:0 frame:0
          TX packets:267243 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:320630585 (305.7 MiB)  TX bytes:320630585 (305.7 MiB)
sit0      Link encap:IPv6-in-IPv4  
          NOARP  MTU:1480  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)

chuan128

附件为orarootagnet_root日志

travel.liu

1、检查两个节点是否是同一套存储
2、检查心跳网络
3、确定vm迁移没问题

chuan128

问题找到了，vmware迁移后会在各自的虚拟机下创建独立的硬盘，不会使用共享磁盘，需要将第二节点的硬盘删掉，添加原来的共享盘。

travel.liu

我的诊断还是挺准的