opiodr aborting process unknown ospid (58064936) as a result of ORA-609

wll_1017

1、数据库版本 11.2.0.1
    操作系统 aix 6.1
topas

                                              Forks         0  Igets         0
Network  KBPS   I-Pack  O-Pack   KB-In  KB-Out  Execs         0  Namei         7
Total   246.6    739.7   763.6   176.2    70.4  Runqueue    0.0  Dirblk        0
                                                Waitqueue   1.5
Disk    Busy%     KBPS     TPS KB-Read KB-Writ                   MEMORY
Total    33.0   3416.9   183.0   175.9  3241.0  PAGING           Real,MB   31488
                                                Faults       44  % Comp     75
FileSystem        KBPS     TPS KB-Read KB-Writ  Steals        0  % Noncomp   6
Total              2.9K  146.9    3.0    2.9K   PgspIn        0  % Client    6
                                                PgspOut       0
Name            PID  CPU%  PgSp Owner           PageIn       43  PAGING SPACE
oracle      9306128   0.1  16.9 oracle          PageOut     810  Size,MB   24576
oracle     57737308   0.1  10.8 oracle          Sios        837  % Used      0
oracle     32964656   0.1  10.8 oracle                           % Free    100
oracle     12517380   0.1  17.0 oracle          NFS (calls/sec)
oracle     58065024   0.1  10.8 oracle          SerV2         0  WPAR Activ     0
oracle     22610142   0.1  17.0 oracle          CliV2         0  WPAR Total     0
oracle      8650776   0.1  11.1 oracle          SerV3         0  Press: "h"-help
oracle     16056444   0.0  16.9 oracle          CliV3         0         "q"-quit
oracle       131378   0.0  16.9 oracle
aioserve   31719624   0.0   0.4 oracle
aioserve   49021146   0.0   0.4 oracle
oracle      7602328   0.0  15.9 oracle
oracle      4849860   0.0  24.7 oracle
aioserve   66191588   0.0   0.4 oracle
xmgc         917532   0.0   0.4 root  
oracle     31523012   0.0  16.7 oracle
oracle     59637882   0.0  10.1 oracle
topas      27852852   0.0   4.6 oracle  
oracle      7733292   0.0  15.9 oracle
oracle      7995484   0.0  15.9 oracle

目前数据库很空闲，但是vmstat 还是有很多进程被阻塞，
vmstats 1 100
System configuration: lcpu=32 mem=31488MB
kthr    memory              page              faults        cpu   
----- ----------- ------------------------ ------------ -----------
r  b   avm   fre  re  pi  po  fr   sr  cy  in   sy  cs us sy id wa
0  1 6072640 1472707   0   2   0 212  210   0 1017 14895 3742  1  1 94  5
0  1 6072640 1472326   0   0   0   0    0   0 806 12601 3220  1  0 94  5
0  1 6072640 1472183   0   0   0   0    0   0 1485 26108 5327  2  1 94  4
1  1 6072640 1472057   0   0   0   0    0   0 1464 21511 4981  1  1 95  3
0  2 6072640 1471295   0   0   0   0    0   0 869 11497 3220  1  0 95  4
0  1 6072640 1470986   0   0   0   0    0   0 1034 14155 3799  1  0 95  4
0  1 6072640 1470876   0   0   0   0    0   0 1177 17224 4151  1  0 95  4
0  2 6072640 1470049   0   0   0   0    0   0 976 14096 3483  1  0 94  5
0  1 6072717 1469770   0   0   0  96   96   0 1391 21264 4970  1  1 94  4
0  1 6072717 1469607   0   0   0   0    0   0 1307 20216 4872  1  1 94  4
0  2 6072696 1474044   0   0   0 5198 5232   0 1204 23574 4549  2  1 93  4
0  1 6072698 1473742   0   0   0   0    0   0 754 11273 3084  1  0 93  6
0  0 6072698 1473552   0   0   0   0    0   0 1524 26218 5342  2  1 94  4
0  1 6072621 1472761   0   0   0   0    0   0 1196 19460 4391  1  1 94  5
0  2 6072621 1472484   0   0   0   0    0   0 895 14167 3705  1  0 93  5
0  1 6072621 1472383   0   0   0   0    0   0 1066 13846 3752  1  0 95  4

如果连接进来的进程日志回报
Errors in file /data/u01/app/oracle/diag/rdbms/newbos/NEWBOS/trace/NEWBOS_ora_58064936.trc:
ORA-00609: could not attach to incoming connection
ORA-12537: TNS:connection closed
opiodr aborting process unknown ospid (58064936) as a result of ORA-609
Fri Jul 04 12:14:59 2014
Trace dumping is performing id=[cdmp_20140704121459]
Fri Jul 04 12:18:21 2014
Errors in file /data/u01/app/oracle/diag/rdbms/newbos/NEWBOS/trace/NEWBOS_ora_36372572.trc:
ORA-00609: could not attach to incoming connection
ORA-12537: TNS:connection closed
opiodr aborting process unknown ospid (36372572) as a result of ORA-609
Fri Jul 04 12:18:23 2014
Trace dumping is performing id=[cdmp_20140704121823]
Fri Jul 04 12:18:38 2014

xifenfei

这里有几个问题：
Kthr
kernel thread state(内核线程状态,表示每秒钟在采样间隔时间上对各种队列的内核线程数求得的平均值)
r: 取样期间可运行的内核线程的平均数，包括正在运行的线程和指准备运行但尚在等待运行的进程。
1.)如果在processes中运行的序列(process r)是连续的大于在系统中的CPU的个数表示系统现在运行比较慢,有多数的进程等待CPU。
2.)如果r的输出数大于系统中可用CPU个数的4倍的话,则系统面临着CPU短缺的问题,或者是CPU的速率过低,系统中有多数的进程在等待CPU,造成系统中进程运行过慢。
3.)如果空闲时间(cpu id)持续为0并且系统时间(cpu sy)是用户时间的两倍(cpu us)系统则面临着CPU资源的短缺。
解决方法
当发生以上问题的时候请先调整应用程序对CPU的占用情况.使得应用程序能够更有效的使用CPU.同时可以考虑增加更多的CPU.  一般情况下，应用程序的问题会比较大一些.比如一些sql语句不合理等等都会造成这样的现象.

b：表示每秒VMM等待队列中的内核线程平均数(等待资源或I/O)，这里参考值为2，大于2表示被阻塞列线程数目太多。

ORA-00609和ORA-12537
从11g开始，很多以前版本写入监听日志的东西，写入到了数据库的alert日志，对于发现该错误，一般分析思路：
0. 检查你的网络和主机网络相关配置
1. 检查监听日志
2. 检查sqlnet.ora
3. 对于tns的服务端和客户端如果需要可以做trace分析
2. Oracle Net Level 16 Client tracing. Add to a clients SQLNET.ORA file

DIAG_ADR_ENABLED=off                  # Disable ADR if version 11g

TRACE_LEVEL_CLIENT = 16               # Enable level 16 trace
TRACE_TIMESTAMP_CLIENT = ON           # Set timestamp in the trace files
TRACE_DIRECTORY_CLIENT = <DIRECTORY>  # Control trace file location

TRACE_FILELEN_CLIENT =<n>     #Control size of trace set in kilobytes eg 20480
TRACE_FILENO_CLIENT =<n>      #Control number of trace files per process
If the connection model is JDBC thin, Javanet tracing of a client is required. See Document 793415.1 How to Perform the Equivalent of SQL*Net Client Tracing with Oracle JDBC Thin Driver.
If 11.2 JDBC thin client used, the following note can be used Document 1050942.1 How to Trace the Network Packets Exchanged Between JDBC and the RDBMS in Release 11.2

3. Oracle Net Level 16 Server tracing. Add to server side SQLNET.ORA file

DIAG_ADR_ENABLED=off                  # Disable ADR if version 11g
TRACE_LEVEL_SERVER = 16               # Enable level 16 trace
TRACE_TIMESTAMP_SERVER = ON           # Set timestamp in the trace files
TRACE_DIRECTORY_SERVER = <DIRECTORY>  # Control trace file location

TRACE_FILELEN_SERVER =<n>   #Control size of trace set in kilobytes eg 20480
TRACE_FILENO_SERVER =<n>       #Control number of trace files per process

另外你还可以通过SQLNET.INBOUND_CONNECT_TIMEOUT配置来改善

具体可以参考：
Troubleshooting Guide ORA-609 : Opiodr aborting process unknown ospid (Doc ID 1121357.1)
Troubleshooting ORA-12537 / TNS-12537 TNS:Connection Closed (Doc ID 555609.1)