oracle RAC修改私有IB网卡协议为RDS协议

按照oraclesupport网上步骤，对步骤进一步细化，环境是rhel6.2-64 oracle11.2.0.3

1， 首先安装IB网卡及驱动，并使用命令查看安装好的网卡：

[root@nari65 bin]# ifconfig -a

ib0 Link encap:InfiniBand HWaddrA0:00:01:00:FE:80:00:00:00:00:00:00:00:00:00:00:00:00:00:00

inet addr:192.168.12.65 Bcast:192.168.12.255 Mask:255.255.255.0

inet6 addr: fe80::f652:1403:86:3ae1/64 Scope:Link

UP BROADCAST RUNNING MULTICAST MTU:2044 Metric:1

RX packets:185019 errors:0 dropped:0 overruns:0 frame:0

TX packets:232627 errors:0 dropped:6 overruns:0 carrier:0

collisions:0 txqueuelen:1024

RX bytes:117911220 (112.4 MiB) TXbytes:324758674 (309.7 MiB)

2， 如果使用RDS协议，需要修改所有节点的linux内核参数：

net.core.rmem_default=262144
net.core.rmem_max=4194304
net.core.wmem_default=262144
net.core.wmem_max=2097152

3，infiniband网卡默认是ipoib协议，如果使用RDS协议，在所有节点进行修改/etc/infiniband/openib.conf文件内容，添加RDS_LOAD=yes，或者已经有此参数为no时，修改为yes，并修改ipoib相关参数为no。

# Load IPoIB

IPOIB_LOAD=no

# Enable IPoIB Connected Mode

SET_IPOIB_CM=no

# Load SRP module

SRP_LOAD=no

RDS_LOAD=yes

# Load ISER module

ISER_LOAD=no

4， 确认IB网卡的ip地址在/etc/hosts文件，并确认此网卡在RAC的私有网络中

[root@nari65 bin]# cat /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

#node1

#public

192.168.200.62 nari62

192.168.200.65 nari65

#priv

192.168.12.62 nari62-priv

192.168.12.65 nari65-priv

#vip

192.168.200.32 nari62-vip

192.168.200.35 nari65-vip

#scan_ip

192.168.200.33 racscan

[grid@nari65 ~]$ oifcfg getif

eth0 192.168.200.0 global public

ib0 192.168.12.0 global cluster_interconnect

5， 如果原来是使用ipoib协议，需要关闭所有节点oracle服务。

[root@nari62 bin]# ./crsctl stop crs

6， 确认服务关闭后，使用oracle用户在所有节点进行relink。

[oracle@nari65~]$ cd $ORACLE_HOME/rdbms/lib

[oracle@nari65~]$ make -f ins_rdbms.mk ipc_rdsioracle

7， relink后，使用root再次启动所有节点的oracle服务。

[root@nari62 bin]# ./crsctl start crs

查看alert-log文件可以看到已经为rds协议：