chuan128 发表于 2014-3-29 11:43:10

oracle11.2.0.3RAC启动vip和监听提示IP地址已经在使用

服务器是在vmware虚拟化平台上的两个虚拟机。
操作系统平台：Red Hat Enterprise Linux Server release 5.9 64bit
数据库软件：Oracle Database 11.2.0.3.0 RAC
现象：昨天晚上将两个节点关机后，用vmware迁移功能将虚拟机文件迁移到另外一个存储上，启动节点后，使用命令检查集群资源状态：
节点rac01：
$ crsctl stat res -t
--------------------------------------------------------------------------------
NAME         TARGETSTATE      SERVER                   STATE_DETAILS      
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.ARCH.dg
               ONLINEONLINE       rac01                                       
ora.DATA.dg
               ONLINEONLINE       rac01                                       
ora.LISTENER.lsnr
               ONLINEONLINE       rac01                                       
ora.OCR.dg
               ONLINEONLINE       rac01                                       
ora.asm
               ONLINEONLINE       rac01                  Started            
ora.gsd
               ONLINEOFFLINE      rac01                                       
ora.net1.network
               ONLINEONLINE       rac01                                       
ora.ons
               ONLINEONLINE       rac01                                       
ora.registry.acfs
               ONLINEONLINE       rac01                                       
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1      ONLINEONLINE       rac01                                       
ora.cvu
      1      ONLINEONLINE       rac01                                       
ora.oc4j
      1      OFFLINE OFFLINE                                                   
ora.rac01.vip
      1      ONLINEONLINE       rac01                                       
ora.rac02.vip
      1      ONLINEINTERMEDIATE rac01                  FAILED OVER         
ora.racdb.db
      1      ONLINEONLINE       rac01                  Open               
      2      OFFLINE OFFLINE                                                   
ora.racdb2.db
      1      ONLINEONLINE       rac01                  Open               
      2      OFFLINE OFFLINE                                                   
ora.scan1.vip
      1      ONLINEONLINE       rac01                                       
$
$ crs_stat -t -v
Name         Type         R/RA   F/FT   Target    State   Host      
----------------------------------------------------------------------
ora.ARCH.dg    ora....up.type 0/5    0/   ONLINE    ONLINE    rac01      
ora.DATA.dg    ora....up.type 0/5    0/   ONLINE    ONLINE    rac01      
ora....ER.lsnr ora....er.type 0/5    0/   ONLINE    ONLINE    rac01      
ora....N1.lsnr ora....er.type 0/5    0/0    ONLINE    ONLINE    rac01      
ora.OCR.dg   ora....up.type 0/5    0/   ONLINE    ONLINE    rac01      
ora.asm      ora.asm.type   0/5    0/   ONLINE    ONLINE    rac01      
ora.cvu      ora.cvu.type   0/5    0/0    ONLINE    ONLINE    rac01      
ora.gsd      ora.gsd.type   0/5    0/   ONLINE    OFFLINE               
ora....network ora....rk.type 0/5    0/   ONLINE    ONLINE    rac01      
ora.oc4j       ora.oc4j.type0/1    0/2    OFFLINE   OFFLINE               
ora.ons      ora.ons.type   0/3    0/   ONLINE    ONLINE    rac01      
ora....SM1.asm application    0/5    0/0    ONLINE    ONLINE    rac01      
ora....01.lsnr application    0/5    0/0    ONLINE    ONLINE    rac01      
ora.rac01.gsdapplication    0/5    0/0    ONLINE    OFFLINE               
ora.rac01.onsapplication    0/3    0/0    ONLINE    ONLINE    rac01      
ora.rac01.vipora....t1.type 0/0    0/0    ONLINE    ONLINE    rac01      
ora.rac02.vipora....t1.type 0/0    0/0    ONLINE    ONLINE    rac01      
ora.racdb.db   ora....se.type 0/2    0/1    ONLINE    ONLINE    rac01      
ora.racdb2.dbora....se.type 0/2    0/1    ONLINE    ONLINE    rac01      
ora....ry.acfs ora....fs.type 0/5    0/   ONLINE    ONLINE    rac01      
ora.scan1.vipora....ip.type 0/0    0/0    ONLINE    ONLINE    rac01      
$

节点rac02：
$ crs_stat -t -v
Name         Type         R/RA   F/FT   Target    State   Host      
----------------------------------------------------------------------
ora.ARCH.dg    ora....up.type 0/5    0/   ONLINE    ONLINE    rac02      
ora.DATA.dg    ora....up.type 0/5    0/   ONLINE    ONLINE    rac02      
ora....ER.lsnr ora....er.type 0/5    0/   ONLINE    OFFLINE               
ora....N1.lsnr ora....er.type 0/5    0/0    ONLINE    OFFLINE               
ora.OCR.dg   ora....up.type 0/5    0/   ONLINE    ONLINE    rac02      
ora.asm      ora.asm.type   0/5    0/   ONLINE    ONLINE    rac02      
ora.cvu      ora.cvu.type   0/5    0/0    ONLINE    ONLINE    rac02      
ora.gsd      ora.gsd.type   0/5    0/   ONLINE    OFFLINE               
ora....network ora....rk.type 0/5    0/   ONLINE    ONLINE    rac02      
ora.oc4j       ora.oc4j.type0/1    0/2    ONLINE    ONLINE    rac02      
ora.ons      ora.ons.type   0/3    0/   ONLINE    ONLINE    rac02      
ora.rac01.vipora....t1.type 0/0    0/0    ONLINE    OFFLINE               
ora....SM2.asm application    0/5    0/0    ONLINE    ONLINE    rac02      
ora....02.lsnr application    0/5    0/0    ONLINE    OFFLINE               
ora.rac02.gsdapplication    0/5    0/0    ONLINE    OFFLINE               
ora.rac02.onsapplication    0/3    0/0    ONLINE    ONLINE    rac02      
ora.rac02.vipora....t1.type 0/0    0/0    ONLINE    OFFLINE               
ora.racdb.db   ora....se.type 0/2    0/1    ONLINE    ONLINE    rac02      
ora.racdb2.dbora....se.type 0/2    0/1    ONLINE    ONLINE    rac02      
ora....ry.acfs ora....fs.type 0/5    0/   ONLINE    ONLINE    rac02      
ora.scan1.vipora....ip.type 0/0    0/0    ONLINE    OFFLINE               
$
$ crsctl stat res -t
--------------------------------------------------------------------------------
NAME         TARGETSTATE      SERVER                   STATE_DETAILS      
--------------------------------------------------------------------------------
Local Resources
--------------------------------------------------------------------------------
ora.ARCH.dg
               ONLINEONLINE       rac02                                       
ora.DATA.dg
               ONLINEONLINE       rac02                                       
ora.LISTENER.lsnr
               ONLINEOFFLINE      rac02                                       
ora.OCR.dg
               ONLINEONLINE       rac02                                       
ora.asm
               ONLINEONLINE       rac02                  Started            
ora.gsd
               ONLINEOFFLINE      rac02                                       
ora.net1.network
               ONLINEONLINE       rac02                                       
ora.ons
               ONLINEONLINE       rac02                                       
ora.registry.acfs
               ONLINEONLINE       rac02                                       
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.LISTENER_SCAN1.lsnr
      1      ONLINEOFFLINE                                                   
ora.cvu
      1      ONLINEONLINE       rac02                                       
ora.oc4j
      1      ONLINEONLINE       rac02                                       
ora.rac01.vip
      1      ONLINEOFFLINE                                                   
ora.rac02.vip
      1      ONLINEOFFLINE                                                   
ora.racdb.db
      1      ONLINEOFFLINE                                                   
      2      ONLINEONLINE       rac02                  Open               
ora.racdb2.db
      1      ONLINEOFFLINE                                                   
      2      ONLINEONLINE       rac02                  Open               
ora.scan1.vip
      1      ONLINEOFFLINE                                                   
$
在第二个节点启动vip和监听时提示CRS-5005: IP Address: 192.168.104.58 is already in use in the network
$ srvctl start listener-n rac02
PRCR-1013 : Failed to start resource ora.LISTENER.lsnr
PRCR-1064 : Failed to start resource ora.LISTENER.lsnr on node rac02
CRS-5017: The resource action "ora.rac02.vip start" encountered the following error:
CRS-5005: IP Address: 192.168.104.58 is already in use in the network
. For details refer to "(:CLSN00107:)" in "/u01/app/11.2.0/grid/log/rac02/agent/crsd/orarootagent_root/orarootagent_root.log".
CRS-2674: Start of 'ora.rac02.vip' on 'rac02' failed
$ cd /u01/app/11.2.0/grid/log/rac02/agent/crsd/orarootagent_root/
$ date
Sat Mar 29 03:56:11 CST 2014
$











chuan128 发表于 2014-3-29 11:44:09

节点rac01的IP地址：
# ifconfig -a
eth0      Link encap:EthernetHWaddr 00:50:56:90:32:6F
          inet addr:192.168.104.55Bcast:192.168.104.255Mask:255.255.255.0
          inet6 addr: fe80::250:56ff:fe90:326f/64 Scope:Link
          UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1
          RX packets:1253666 errors:0 dropped:0 overruns:0 frame:0
          TX packets:924301 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:218171333 (208.0 MiB)TX bytes:232867516 (222.0 MiB)
eth0:1    Link encap:EthernetHWaddr 00:50:56:90:32:6F
          inet addr:192.168.104.59Bcast:192.168.104.255Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1
eth0:2    Link encap:EthernetHWaddr 00:50:56:90:32:6F
          inet addr:192.168.104.58Bcast:192.168.104.255Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1
eth0:3    Link encap:EthernetHWaddr 00:50:56:90:32:6F
          inet addr:192.168.104.57Bcast:192.168.104.255Mask:255.255.255.0
          UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1
eth1      Link encap:EthernetHWaddr 00:50:56:90:64:97
          inet addr:10.0.104.55Bcast:10.0.104.255Mask:255.255.255.0
          inet6 addr: fe80::250:56ff:fe90:6497/64 Scope:Link
          UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1
          RX packets:99430 errors:0 dropped:0 overruns:0 frame:0
          TX packets:102086 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:76900728 (73.3 MiB)TX bytes:64652083 (61.6 MiB)
eth1:1    Link encap:EthernetHWaddr 00:50:56:90:64:97
          inet addr:169.254.161.116Bcast:169.254.255.255Mask:255.255.0.0
          UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1
lo      Link encap:Local Loopback
          inet addr:127.0.0.1Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNINGMTU:16436Metric:1
          RX packets:345993 errors:0 dropped:0 overruns:0 frame:0
          TX packets:345993 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:1484066565 (1.3 GiB)TX bytes:1484066565 (1.3 GiB)
sit0      Link encap:IPv6-in-IPv4
          NOARPMTU:1480Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:0 (0.0 b)TX bytes:0 (0.0 b)

节点rac02的ip
# ifconfig -a
eth0      Link encap:EthernetHWaddr 00:50:56:90:23:47
          inet addr:192.168.104.56Bcast:192.168.104.255Mask:255.255.255.0
          inet6 addr: fe80::250:56ff:fe90:2347/64 Scope:Link
          UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1
          RX packets:95863 errors:0 dropped:0 overruns:0 frame:0
          TX packets:79635 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:28267551 (26.9 MiB)TX bytes:35218960 (33.5 MiB)
eth1      Link encap:EthernetHWaddr 00:50:56:90:42:0E
          inet addr:10.0.104.56Bcast:10.0.104.255Mask:255.255.255.0
          inet6 addr: fe80::250:56ff:fe90:420e/64 Scope:Link
          UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1
          RX packets:109831 errors:0 dropped:0 overruns:0 frame:0
          TX packets:92921 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:65317983 (62.2 MiB)TX bytes:76642180 (73.0 MiB)
eth1:1    Link encap:EthernetHWaddr 00:50:56:90:42:0E
          inet addr:169.254.148.217Bcast:169.254.255.255Mask:255.255.0.0
          UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1
lo      Link encap:Local Loopback
          inet addr:127.0.0.1Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNINGMTU:16436Metric:1
          RX packets:267243 errors:0 dropped:0 overruns:0 frame:0
          TX packets:267243 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:320630585 (305.7 MiB)TX bytes:320630585 (305.7 MiB)
sit0      Link encap:IPv6-in-IPv4
          NOARPMTU:1480Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:0 (0.0 b)TX bytes:0 (0.0 b)

chuan128 发表于 2014-3-29 11:47:23

附件为orarootagnet_root日志

travel.liu 发表于 2014-3-29 12:09:20

1、检查两个节点是否是同一套存储
2、检查心跳网络
3、确定vm迁移没问题

chuan128 发表于 2014-3-29 14:54:47

问题找到了，vmware迁移后会在各自的虚拟机下创建独立的硬盘，不会使用共享磁盘，需要将第二节点的硬盘删掉，添加原来的共享盘。

travel.liu 发表于 2014-3-29 22:17:02

:lol 我的诊断还是挺准的
页: [1]
查看完整版本: oracle11.2.0.3RAC启动vip和监听提示IP地址已经在使用