前言
在之前的时间里,我都是在学习Oracle单实例的搭建、优化、备份、还原,一直没有尝试去接触Oracle RAC的环境。对于Oracle DBA来说,不会RAC就不敢说自己是DBA,更别说是连搭建都不会的菜鸟了。因此,这段时间一直没有更新什么,都是在学Oracle RAC的搭建。
下面是整个RAC搭建流程,文档中的介绍可能还不太详细,只能在有空的时候补充说明性的文字。
介绍
本次搭建使用的软件有:
- VMware Workstation Pro虚拟机
- Oracle 11G Grid软件
- Oracle 11G Database软件
- Mobaxterm连接工具
规划
对于Oracle RAC环境来说,在安装之前就需要规划好网络和共享磁盘。
网络规划
Oracle RAC对于网络有以下要求:
- 每个节点必须具有至少两张以上的网卡。一张网卡对外提供TCP服务(公网),另一张网卡用于节点间的内部通信和心跳检测。(私网)
- 每个节点的网卡公共接口必须一致。例如,节点1的公共接口是eth0,则其他节点的公共接口必须也是eth0。
- 每个节点的主机名必须符合RFC 952标准,并且不允许使用下划线。
基于以上原则,我们来配置一下RAC双节点的网络。
对于Oracle 11G RAC双节点来说,Oracle要求我们至少有7个ip地址,Public IP、Virtual IP和Scan IP在同一个网段下,Private IP在另一个网段中。
因此,我在虚拟机中配置了两张网卡,一张网卡以桥接模式运行,另一张以仅主机模式运行。在两张网卡的基础上,配置了如下主机名及IP地址:
主机名 | rac-1 | rac-2 |
---|---|---|
Public IP | 192.168.12.20 | 192.168.12.21 |
Private IP | 1.1.1.1 | 1.1.1.2 |
Virtual ip | 192.168.12.22 | 192.168.12.23 |
Scan ip | 192.168.12.100 | 192.168.12.100 |
共享存储规划
对于虚拟机虚化的服务器来说,配置共享存储比较简单,但对于物理机来说,则需要掌握多种技术,如:交换机、光纤线、阵列等。
因本人没搞过物理机的共享存储,暂时使用VM ware来演示共享存储的使用。RAC磁盘配置如下表所示:
磁盘名 | 磁盘数量 | 磁盘大小 | 冗余模式 |
---|---|---|---|
OCR | 3个 | 10G/个 | Normal |
DATA | 1个 | 50G | External |
FRA | 1个 | 20G | External |
方案
步骤说明:
1、主机名配置
在两台服务器启动后,修改服务器的主机名,通常会把主机名改成与业务相关的名字,易于管理。如:rac-1,rac-2。
rac-1
# 修改主机名
[root@localhost ~]# hostnamectl set-hostname rac-1
# 编辑配置文件hosts
[root@localhost ~]# vim /etc/hosts
修改rac-1的hosts文件,在下面新增Public IP、Private IP、Virtual IP和SCAN IP的规则,然后保存并退出。
# Public ip
192.168.12.20 rac-1
192.168.12.21 rac-2
# Private ip
1.1.1.1 rac-1-priv
1.1.1.2 rac-2-priv
# Virtual ip
192.168.12.22 rac-1-vip
192.168.12.23 rac-2-vip
# Scan ip
192.168.12.100 rac-scan
修改后,刷新主机名
[root@localhost ~]# exec bash
rac-2
# 修改主机名
[root@localhost ~]# hostnamectl set-hostname rac-2
# 编辑配置文件hosts
[root@localhost ~]# vim /etc/hosts
修改rac-2的hosts文件,在下面新增Public IP、Private IP、Virtual IP和SCAN IP的规则,然后保存并退出。
# Public ip
192.168.12.20 rac-1
192.168.12.21 rac-2
# Private ip
1.1.1.1 rac-1-priv
1.1.1.2 rac-2-priv
# Virtual ip
192.168.12.22 rac-1-vip
192.168.12.23 rac-2-vip
# Scan ip
192.168.12.100 rac-scan
修改后,刷新主机名
[root@localhost ~]# exec bash
2、创建用户组及用户
主机名配置好后,分别在两个节点上创建grid用户和oracle用户。
rac-1
rac-1节点创建grid用户和oracle用户
# 新建用户组oinstall
[root@rac-1 ~]# groupadd oinstall -g 500
# 新建用户组dba
[root@rac-1 ~]# groupadd dba -g 501
# 新建用户组oper
[root@rac-1 ~]# groupadd oper -g 502
# 新建用户组asmadmin
[root@rac-1 ~]# groupadd asmadmin -g 2003
# 新建用户组asmdba
[root@rac-1 ~]# groupadd asmdba -g 2004
# 新建用户组asmoper
[root@rac-1 ~]# groupadd asmoper -g 2005
# 创建oracle用户并加入到相应组中
[root@rac-1 ~]# useradd -u 500 -g oinstall -G dba,oper,asmdba,asmadmin,asmoper -d /home/oracle oracle
# 创建grid用户并加入到相应组中
[root@rac-1 ~]# useradd -u 2001 -g oinstall -G asmadmin,asmdba,asmoper,dba -d /home/grid grid
# 设置oracle用户密码
[root@rac-1 ~]# passwd oracle
# 设置grid用户密码
[root@rac-1 ~]# passwd grid
rac-2
rac-2节点创建grid用户和oracle用户
# 新建用户组oinstall
[root@rac-2 ~]# groupadd oinstall -g 500
# 新建用户组dba
[root@rac-2 ~]# groupadd dba -g 501
# 新建用户组oper
[root@rac-2 ~]# groupadd oper -g 502
# 新建用户组asmadmin
[root@rac-2 ~]# groupadd asmadmin -g 2003
# 新建用户组asmdba
[root@rac-2 ~]# groupadd asmdba -g 2004
# 新建用户组asmoper
[root@rac-2 ~]# groupadd asmoper -g 2005
# 创建oracle用户并加入到相应组中
[root@rac-2 ~]# useradd -u 500 -g oinstall -G dba,oper,asmdba,asmadmin,asmoper -d /home/oracle oracle
# 创建grid用户并加入到相应组中
[root@rac-2 ~]# useradd -u 2001 -g oinstall -G asmadmin,asmdba,asmoper,dba -d /home/grid grid
# 设置oracle用户密码
[root@rac-2 ~]# passwd oracle
# 设置grid用户密码
[root@rac-2 ~]# passwd grid
3、关闭并禁用firewalld和selinux
为避免Grid和Oracle在安装过程中收到firewalld和selinux的影响,导致安装失败,暂时禁用掉他们。
rac-1
rac-1禁用firewalld和selinux
# 停止firewalld服务运行
[root@rac-1 ~]# systemctl stop firewalld
# 禁用firewalld服务自启动
[root@rac-1 ~]# systemctl disable firewalld
# 禁用selinux自启动
[root@rac-1 ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
# 立即停止selinux
[root@rac-1 ~]# setenforce 0
rac-2
rac-2禁用firewalld和selinux
# 停止firewalld服务运行
[root@rac-2 ~]# systemctl stop firewalld
# 禁用firewalld服务自启动
[root@rac-2 ~]# systemctl disable firewalld
# 禁用selinux自启动
[root@rac-2 ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
# 立即停止selinux
[root@rac-2 ~]# setenforce 0
4、关闭并禁用avahi-daemon
avahi-daemon服务可能会在网卡流量大的时候,造成网络请求障碍,因此也将其禁用掉。
rac-1
rac-1禁用avahi-daemon
# 停止avahi-daemon服务
[root@rac-1 ~]# systemctl stop avahi-daemon
# 禁用avahi-daemon服务的自启动
[root@rac-1 ~]# systemctl disable avahi-daemon
# 配置NOZEROCONF参数
[root@rac-1 ~]# echo 'NOZEROCONF=yes' >> /etc/sysconfig/network
rac-2
rac-2禁用avahi-daemon
# 停止avahi-daemon服务
[root@rac-2 ~]# systemctl stop avahi-daemon
# 禁用avahi-daemon服务的自启动
[root@rac-2 ~]# systemctl disable avahi-daemon
# 配置NOZEROCONF参数
[root@rac-2 ~]# echo 'NOZEROCONF=yes' >> /etc/sysconfig/network
5、关闭透明大页和NUMA
Oracle官方文档中提到Linux的透明大页可能会在RAC中造成性能问题,所以禁用它;NUMA可以选择性关闭或不关闭,暂时没有看到会造成影响。
rac-1
rac-1禁用透明大页和NUMA
# 配置启动禁用透明大页和NUMA
[root@rac-1 ~]# sed -i 's/quiet/quiet transparent_hugepage=never numa=off/' /etc/default/grub
# 生成启动规则
[root@rac-1 ~]# grub2-mkconfig -o /boot/grub2/grub.cfg
# 重启服务器
[root@rac-1 ~]# reboot
rac-2
rac-2禁用透明大页和NUMA
# 配置启动禁用透明大页和NUMA
[root@rac-2 ~]# sed -i 's/quiet/quiet transparent_hugepage=never numa=off/' /etc/default/grub
# 生成启动规则
[root@rac-2 ~]# grub2-mkconfig -o /boot/grub2/grub.cfg
# 重启服务器
[root@rac-2 ~]# reboot
6、禁用NTP服务
RAC集群可以使用NTP服务或CTSS服务来同步时间,让所有节点的时间一致。
在安装过程中,默认会检查/etc/目录下是否有ntp.conf文件,如果能够找到该文件,则认为服务器采用NTP服务来进行时间同步的,会将自己的CTSS服务配置成观察模式;反之,在/etc/目录下找不到ntp.conf文件,则将自己的CTSS服务配置成激活状态,并使用CTSS服务来同步时间。
CTSS服务会将安装Grid软件的那台节点作为主节点,然后让集群中的其他节点与主节点的时间进行同步。
使用哪个服务进行时间同步,需要根据真实环境中的情况来分析。如果你有NTP服务器,则直接使用NTP服务进行时间同步;如果没有NTP服务器,就可以使用CTSS来同步时间。
我这里没有时间同步服务器,就直接使用CTSS服务来同步时间。使用CTSS服务也很简单,直接将NTP服务禁用掉,/etc/ntp.conf文件删除掉或重命名一下就可以了。
rac-1
rac-1节点禁用NTP服务
# 停止NTP服务
[root@rac-1 ~]# systemctl stop ntpd
# 禁用NTP服务自启动
[root@rac-1 ~]# systemctl disable ntpd
rac-1节点禁用NTP服务后,检查一下时区和时间,如果不对,则将其修改成正确的时间和时区。
# 确认时区和时间
[root@rac-1 ~]# date
rac-2
rac-2节点禁用NTP服务
# 停止NTP服务
[root@rac-1 ~]# systemctl stop ntpd
# 禁用NTP服务自启动
[root@rac-1 ~]# systemctl disable ntpd
rac-2节点禁用NTP服务后,检查一下时区和时间,如果不对,则将其修改成正确的时间和时区。rac-1和rac-2的时间不一致也没关系,后续CTSS服务会去修正时间。
# 确认时区和时间
[root@rac-1 ~]# date
7、配置内核参数
配置内核参数,提高Oracle数据库的性能。
rac-1
rac-1节点配置内核参数
[root@rac-1 ~]# vim /etc/sysctl.conf
新增以下参数,并根据实际物理内存调整部分参数。
net.ipv4.icmp_echo_ignore_broadcasts = 1
net.ipv4.conf.all.rp_filter = 1
fs.file-max = 6815744
fs.aio-max-nr = 1048576
kernel.shmall = 2097152
kernel.shmmax = 2147483648
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max= 4194304
net.core.wmem_default= 262144
net.core.wmem_max= 1048576
配置介绍:
- fs.file-max 最大打开文件数
- kernel.shmall 共享内存的总量,8G内存设置:2097152*4k/1024/1024
- kernel.shmmax 最大共享内存的段大小,一般设置为服务器的80%内存总大小
- net.ipv4.ip_local_port_range 可使用的ipv4端口范围
其他参数有时间再去研究,这里暂时先写这几个重要的。如果你的服务器只运行单个实例(数据库),我这里给出一个大概的建议值参考:
- 内存为12G
- kernel.shmall = 3145728
- kernel.shmmax = 12884901887
- 内存为16G
- kernel.shmall = 4194304
- kernel.shmmax = 17179869183
- 内存为32G
- kernel.shmall = 8388608
- kernel.shmmax = 34359738367
- 内存为64G
- kernel.shmall = 16777216
- kernel.shmmax = 68719476735
重加载内核参数
# 让参数生效
[root@rac-1 ~]# sysctl -p
rac-2
rac-2节点配置内核参数
[root@rac-1 ~]# vim /etc/sysctl.conf
新增以下参数,并根据实际物理内存调整部分参数。
net.ipv4.icmp_echo_ignore_broadcasts = 1
net.ipv4.conf.all.rp_filter = 1
fs.file-max = 6815744
fs.aio-max-nr = 1048576
kernel.shmall = 2097152
kernel.shmmax = 2147483648
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max= 4194304
net.core.wmem_default= 262144
net.core.wmem_max= 1048576
配置介绍:
- fs.file-max 最大打开文件数
- kernel.shmall 共享内存的总量,8G内存设置:2097152*4k/1024/1024
- kernel.shmmax 最大共享内存的段大小,一般设置为服务器的80%内存总大小
- net.ipv4.ip_local_port_range 可使用的ipv4端口范围
其他参数有时间再去研究,这里暂时先写这几个重要的。如果你的服务器只运行单个实例(数据库),我这里给出一个大概的建议值参考:
- 内存为12G
- kernel.shmall = 3145728
- kernel.shmmax = 12884901887
- 内存为16G
- kernel.shmall = 4194304
- kernel.shmmax = 17179869183
- 内存为32G
- kernel.shmall = 8388608
- kernel.shmmax = 34359738367
- 内存为64G
- kernel.shmall = 16777216
- kernel.shmmax = 68719476735
重加载内核参数
# 让参数生效
[root@rac-1 ~]# sysctl -p
8、限制用户资源使用
配置oracle用户和grid用户的资源硬限制和软限制。
rac-1
rac-1配置用户资源限制
[root@rac-1 ~]# vim /etc/security/limits.conf
新增以下参数
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
login文件增加参数
[root@rac-1 ~]# echo "session required pam_limits.so" >>/etc/pam.d/login
编辑profile文件,在最下面新增内容。
[root@rac-1 ~]# vim /etc/profile
if [ $USER = "oracle" ] || [ $USER = "grid" ] ; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -p 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
fi
rac-2
rac-2配置用户资源限制
[root@rac-2 ~]# vim /etc/security/limits.conf
新增以下参数
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
login文件增加参数
[root@rac-2 ~]# echo "session required pam_limits.so" >>/etc/pam.d/login
编辑profile文件,在最下面新增内容。
[root@rac-2 ~]# vim /etc/profile
if [ $USER = "oracle" ] || [ $USER = "grid" ] ; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -p 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
fi
9、配置用户环境变量
配置oracle用户和grid用户的环境变量,避免每次都需要指定实例名。
rac-1
rac-1配置oracle用户变量
[root@rac-1 ~]# vim /home/oracle/.bash_profile
新增以下变量
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1
export PATH=$ORACLE_HOME/bin:$PATH
export ORACLE_SID=rac1
export LANG=en_US.UTF-8
说明:
- ORACLE_BASE Oracle数据库的基础目录
- ORACLE_HOME Oracle数据库的家目录
- PATH Oracle数据库的bin目录
- ORACLE_SID Oracle数据库的SID,对于RAC环境来说,这里要设置为节点1的实例名。
- LANG Oracle数据库的语言
rac-1配置grid用户变量
[root@rac-1 ~]# vim /home/grid/.bash_profile
新增以下变量
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export PATH=$ORACLE_HOME/bin:$PATH
export ORACLE_SID=+ASM1
export LANG=en_US.UTF-8
说明:
- ORACLE_BASE Grid软件的基础目录
- ORACLE_HOME Grid软件的家目录
- PATH Grid软件的bin目录
- ORACLE_SID Grid数据库的SID,对于节点1来说,通常是+ASM1。
- LANG Grid软件的语言
生效环境变量
# 让oracle用户的环境变量生效
[root@rac-1 ~]# source /home/oracle/.bash_profile
# 让grid用户的环境变量生效
[root@rac-1 ~]# source /home/grid/.bash_profile
rac-2
rac-2配置oracle用户变量
[root@rac-2 ~]# vim /home/oracle/.bash_profile
新增以下变量
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1
export PATH=$ORACLE_HOME/bin:$PATH
export ORACLE_SID=rac2
export LANG=en_US.UTF-8
说明:
- ORACLE_BASE Oracle数据库的基础目录
- ORACLE_HOME Oracle数据库的家目录
- PATH Oracle数据库的bin目录
- ORACLE_SID Oracle数据库的SID,对于RAC环境来说,这里要设置为节点2的实例名。
- LANG Oracle数据库的语言
rac-2配置grid用户变量
[root@rac-2 ~]# vim /home/grid/.bash_profile
新增以下变量
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export PATH=$ORACLE_HOME/bin:$PATH
export ORACLE_SID=+ASM2
export LANG=en_US.UTF-8
说明:
- ORACLE_BASE Grid软件的基础目录
- ORACLE_HOME Grid软件的家目录
- PATH Grid软件的bin目录
- ORACLE_SID Grid数据库的SID,对于节点2来说,通常是+ASM2。
- LANG Grid软件的语言
生效环境变量
# 让oracle用户的环境变量生效
[root@rac-2 ~]# source /home/oracle/.bash_profile
# 让grid用户的环境变量生效
[root@rac-2 ~]# source /home/grid/.bash_profile
10、创建软件目录
配置好环境变量后,创建软件目录。
rac-1
rac-1创建目录
# 创建软件存储目录,数据库软件和grid软件解压到这里
[root@rac-1 ~]# mkdir -p /u01/software
# 创建oracle用户的ORACLE_BASE目录
[root@rac-1 ~]# mkdir -p /u01/app/oracle
# 授权
[root@rac-1 ~]# chown oracle:oinstall /u01/app/oracle
# 创建Grid用户的ORACLE_BASE目录
[root@rac-1 ~]# mkdir -p /u01/app/grid
# 授权
[root@rac-1 ~]# chown grid:oinstall /u01/app/grid
# 授权
[root@rac-2 ~]# chgrp oinstall /u01/app
# 授权
[root@rac-1 ~]# chmod 775 /u01/app
rac-2
rac-2创建目录
# 创建软件存储目录,数据库软件和grid软件解压到这里
[root@rac-2 ~]# mkdir -p /u01/software
# 创建oracle用户的ORACLE_BASE目录
[root@rac-2 ~]# mkdir -p /u01/app/oracle
# 授权
[root@rac-2 ~]# chown oracle:oinstall /u01/app/oracle
# 创建Grid用户的ORACLE_BASE目录
[root@rac-2 ~]# mkdir -p /u01/app/grid
# 授权
[root@rac-2 ~]# chown grid:oinstall /u01/app/grid
# 授权
[root@rac-2 ~]# chgrp oinstall /u01/app
# 授权
[root@rac-2 ~]# chmod 775 /u01/app
11、配置SSH免密登录
此步骤必须按顺序执行,否则会有报错或异常。
配置两个节点间的互信,配置后,使用grid和oracle用户连接到另一个节点时,就不再需要密码。
grid用户互信
rac-1
使用grid用户配置免密登录
# 生成协议2版本的RSA密钥对
[grid@rac-1 ~]$ ssh-keygen -t rsa
# 将密钥内容复制到authorized_keys文件中
[grid@rac-1 ~]$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
rac-2
使用grid用户配置免密登录
# 生成协议2版本的RSA密钥对
[grid@rac-2 ~]$ ssh-keygen -t rsa
rac-1
拷贝刚刚生成的authorized_key文件至节点2。
[grid@rac-1 ~]$ scp .ssh/authorized_keys rac-2:/home/grid/.ssh
rac-2
将节点2的密钥写入到authorized_keys文件,并拷回至节点1中。
# 将节点2的密钥写入到authorized_keys文件中
[grid@rac-2 ~]$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
# 拷贝authorized_keys文件至节点1
[grid@rac-2 ~]$ scp .ssh/authorized_keys rac-1:/home/grid/.ssh
oracle用户互信
rac-1
使用oracle用户配置免密登录
# 生成协议2版本的RSA密钥对
[oracle@rac-1 ~]$ ssh-keygen -t rsa
# 将密钥内容复制到authorized_keys文件中
[oracle@rac-1 ~]$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
rac-2
使用oracle用户配置免密登录
# 生成协议2版本的RSA密钥对
[oracle@rac-2 ~]$ ssh-keygen -t rsa
rac-1
拷贝刚刚生成的authorized_key文件至节点2。
[oracle@rac-1 ~]$ scp .ssh/authorized_keys rac-2:/home/oracle/.ssh
rac-2
将节点2的密钥写入到authorized_keys文件,并拷回至节点1中。
# 将节点2的密钥写入到authorized_keys文件中
[grid@rac-2 ~]$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
# 拷贝authorized_keys文件至节点1
[grid@rac-2 ~]$ scp .ssh/authorized_keys rac-1:/home/oracle/.ssh
rac-1
最终,测试oracle和grid用户节点1连接节点2是否还需要输入密码。
# 测试grid用户
[grid@rac-1 ~]$ ssh rac-1 date; ssh rac-2 date; ssh rac-1-priv date; ssh rac-2-priv date;
# 测试oracle用户
[oracle@rac-1 ~]$ ssh rac-1 date; ssh rac-2 date; ssh rac-1-priv date; ssh rac-2-priv date;
如上图所示,则表示免密登录配置完成。
rac-2
最终,测试oracle和grid用户节点1连接节点2是否还需要输入密码。
# 测试grid用户
[grid@rac-2 ~]$ ssh rac-1 date; ssh rac-2 date; ssh rac-1-priv date; ssh rac-2-priv date;
# 测试oracle用户
[oracle@rac-2 ~]$ ssh rac-1 date; ssh rac-2 date; ssh rac-1-priv date; ssh rac-2-priv date;
如上图所示,则表示免密登录配置完成。
12、配置共享存储
免密登录配置好后,手动关闭两台服务器,然后使用VM ware软件添加磁盘。
VM ware添加磁盘时,必须选择【立即分配所有磁盘空间】选项,否则,安装Grid软件执行root脚本时,节点2会不识别节点1的集群,从而导致会重新创建voting disk。
首先是rac-1节点新增5块磁盘,分别是3个5G的OCR表决磁盘,20G的FRA闪回区磁盘和50G的数据盘,如下图所示:
rac-1节点新增完成后,在rac-2节点上同样新增5块磁盘,此时需要注意,在新增磁盘的选项中,选择【使用现有虚拟磁盘】,然后选中节点1服务器的5个磁盘文件。
两个节点都配置好磁盘后,分别在两个虚拟机的.vmx文件中,新增以下内容:
disk.locking="FALSE"
disk.EnableUUID ="TRUE"
scsi0:1.SharedBus="Virtual"
scsi0:2.SharedBus="Virtual"
scsi0:3.SharedBus="Virtual"
scsi0:4.SharedBus="Virtual"
scsi0:5.SharedBus="Virtual"
配置完成后,启动rac-1和rac-2。
验证共享存储
服务器启动后,验证共享存储是否配置成功。
rac-1
rac-1查看磁盘
[root@rac-1 ~]# lsblk
rac-2
rac-2查看磁盘
[root@rac-2 ~]# lsblk
如此,两个节点的共享磁盘配置完毕,接下来就可以配置ASM绑定磁盘了。绑定ASM磁盘有多路径和非多路径方式,下面两种绑定方式都简单介绍下。
非多路径方式
建议:非FC光纤通道,使用此方式即可。
查看磁盘的scsi_id
rac-1
rac-1遍历磁盘的SCSI_ID
[root@rac-1 ~]# for i in b c d e f ;
> do
> echo "sd$i" "`/usr/lib/udev/scsi_id -g -u /dev/sd$i`";
> done
rac-2
rac-2遍历磁盘的SCSI_ID
[root@rac-2 ~]# for i in b c d e f ;
> do
> echo "sd$i" "`/usr/lib/udev/scsi_id -g -u /dev/sd$i`";
> done
绑定磁盘
rac-1
rac-1绑定ASM磁盘
[root@rac-1 ~]# vim /etc/udev/rules.d/99-oracle-asmdevices.rules
编辑配置文件,新增规则。
KERNEL=="sd*",SUBSYSTEM=="block",PROGRAM=="/lib/udev/scsi_id -g -u -d /dev/$name",RESULT=="36000c292b5977370625e0cff350dc1b3",SYMLINK+="asm_ocr1",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="sd*",SUBSYSTEM=="block",PROGRAM=="/lib/udev/scsi_id -g -u -d /dev/$name",RESULT=="36000c2973a9a56e46deac8282fde0f38",SYMLINK+="asm_ocr2",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="sd*",SUBSYSTEM=="block",PROGRAM=="/lib/udev/scsi_id -g -u -d /dev/$name",RESULT=="36000c29477e56db667ad5e027c314742",SYMLINK+="asm_ocr3",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="sd*",SUBSYSTEM=="block",PROGRAM=="/lib/udev/scsi_id -g -u -d /dev/$name",RESULT=="36000c29c53e0c1bf2d5819b1199d89c8",SYMLINK+="asm_fra",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="sd*",SUBSYSTEM=="block",PROGRAM=="/lib/udev/scsi_id -g -u -d /dev/$name",RESULT=="36000c29de02cd10f176aa4626ac9be4a",SYMLINK+="asm_data",OWNER="grid",GROUP="asmadmin",MODE="0660"
rac-2
rac-2绑定ASM磁盘
[root@rac-2 ~]# vim /etc/udev/rules.d/99-oracle-asmdevices.rules
编辑配置文件,新增规则。
KERNEL=="sd*",SUBSYSTEM=="block",PROGRAM=="/lib/udev/scsi_id -g -u -d /dev/$name",RESULT=="36000c292b5977370625e0cff350dc1b3",SYMLINK+="asm_ocr1",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="sd*",SUBSYSTEM=="block",PROGRAM=="/lib/udev/scsi_id -g -u -d /dev/$name",RESULT=="36000c2973a9a56e46deac8282fde0f38",SYMLINK+="asm_ocr2",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="sd*",SUBSYSTEM=="block",PROGRAM=="/lib/udev/scsi_id -g -u -d /dev/$name",RESULT=="36000c29477e56db667ad5e027c314742",SYMLINK+="asm_ocr3",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="sd*",SUBSYSTEM=="block",PROGRAM=="/lib/udev/scsi_id -g -u -d /dev/$name",RESULT=="36000c29c53e0c1bf2d5819b1199d89c8",SYMLINK+="asm_fra",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="sd*",SUBSYSTEM=="block",PROGRAM=="/lib/udev/scsi_id -g -u -d /dev/$name",RESULT=="36000c29de02cd10f176aa4626ac9be4a",SYMLINK+="asm_data",OWNER="grid",GROUP="asmadmin",MODE="0660"
生效
rac-1
rac-1生效
[root@rac-1 ~]# /sbin/udevadm trigger --type=devices --action=change
[root@rac-1 ~]# /sbin/udevadm control --reload
rac-2
rac-2生效
[root@rac-1 ~]# /sbin/udevadm trigger --type=devices --action=change
[root@rac-1 ~]# /sbin/udevadm control --reload
验证
rac-1
rac-1验证
[root@rac-1 ~]# ls /dev/asm*
rac-2
rac-2验证
[root@rac-2 ~]# ls /dev/asm*
重启后再次验证
rac-1
rac-1再次验证
[root@rac-1 ~]# ls /dev/asm*
rac-2
rac-2再次验证
[root@rac-2 ~]# ls /dev/asm*
多路径方式
通常用于FC光纤通道,也可以用在SCSI通道。
配置多路径
rac-1
rac-1安装多路径
[root@rac-1 ~]# yum -y install device-mapper*
# 生成默认模板
[root@rac-1 ~]# mpathconf --enable --with_multipathd y
查看磁盘的scsi_id
[root@rac-1 ~]# for i in b c d e f ;
> do
> echo "sd$i" "`/usr/lib/udev/scsi_id -g -u /dev/sd$i`";
> done
绑定磁盘
[root@rac-1 ~]# vim /etc/multipath.conf
defaults {
user_friendly_names yes
}
blacklist {
devnode "^sda"
}
multipaths {
multipath {
wwid "36000c2916a0c965fb4b0f2b0597dca2b"
alias asm_ocr1
}
multipath {
wwid "36000c298a9b280b8a1b83f9883eeec84"
alias asm_ocr2
}
multipath {
wwid "36000c292cf384d4d00989389108c23fa"
alias asm_ocr3
}
multipath {
wwid "36000c297c9d06e18e08b1c07749ff0e4"
alias asm_fra
}
multipath {
wwid "36000c29baf04a4f5803d8f4071a3299d"
alias asm_data
}
}
保存并加载多路径
# 删除原有配置
[root@rac-1 ~]# multipath -F
# 加载新配置
[root@rac-1 ~]# multipath -v2
rac-2
rac-2安装多路径
[root@rac-2 ~]# yum -y install device-mapper*
# 生成默认模板
[root@rac-2 ~]# mpathconf --enable --with_multipathd y
查看磁盘的scsi_id
[root@rac-2 ~]# for i in b c d e f ;
> do
> echo "sd$i" "`/usr/lib/udev/scsi_id -g -u /dev/sd$i`";
> done
绑定磁盘
这里直接可以拷贝节点1的multipath.conf到节点2,毕竟共享磁盘的scsi_id都是一样的。
[root@rac-2 ~]# vim /etc/multipath.conf
defaults {
user_friendly_names yes
}
blacklist {
devnode "^sda"
}
multipaths {
multipath {
wwid "36000c2916a0c965fb4b0f2b0597dca2b"
alias asm_ocr1
}
multipath {
wwid "36000c298a9b280b8a1b83f9883eeec84"
alias asm_ocr2
}
multipath {
wwid "36000c292cf384d4d00989389108c23fa"
alias asm_ocr3
}
multipath {
wwid "36000c297c9d06e18e08b1c07749ff0e4"
alias asm_fra
}
multipath {
wwid "36000c29baf04a4f5803d8f4071a3299d"
alias asm_data
}
}
保存并加载多路径
# 删除原有配置
[root@rac-1 ~]# multipath -F
# 加载新配置
[root@rac-1 ~]# multipath -v2
UDEV配置
rac-1
rac-1配置UDEV
[root@rac-1 ~]# vim /etc/udev/rules.d/99-oracle-asmdevices.rules
新增规则,有多少多路径配置就需要增加多少条规则。
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-36000c2916a0c965fb4b0f2b0597dca2b",SYMLINK+="asm_ocr1",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-36000c298a9b280b8a1b83f9883eeec84",SYMLINK+="asm_ocr2",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-36000c292cf384d4d00989389108c23fa",SYMLINK+="asm_ocr3",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-36000c297c9d06e18e08b1c07749ff0e4",SYMLINK+="asm_fra",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-36000c29baf04a4f5803d8f4071a3299d",SYMLINK+="asm_data",OWNER="grid",GROUP="asmadmin",MODE="0660"
重新加载udev
[root@rac-1 ~]# udevadm control --reload-rules
[root@rac-1 ~]# udevadm trigger --type=devices
验证
[root@rac-1 ~]# ll /dev/asm*
[root@rac-1 ~]# ll /dev/asm*
rac-2
rac-2配置UDEV
[root@rac-2 ~]# vim /etc/udev/rules.d/99-oracle-asmdevices.rules
新增规则,有多少多路径配置就需要增加多少条规则。
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-36000c2916a0c965fb4b0f2b0597dca2b",SYMLINK+="asm_ocr1",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-36000c298a9b280b8a1b83f9883eeec84",SYMLINK+="asm_ocr2",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-36000c292cf384d4d00989389108c23fa",SYMLINK+="asm_ocr3",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-36000c297c9d06e18e08b1c07749ff0e4",SYMLINK+="asm_fra",OWNER="grid",GROUP="asmadmin",MODE="0660"
KERNEL=="dm-*",ENV{DM_UUID}=="mpath-36000c29baf04a4f5803d8f4071a3299d",SYMLINK+="asm_data",OWNER="grid",GROUP="asmadmin",MODE="0660"
重新加载udev
[root@rac-2 ~]# udevadm control --reload-rules
[root@rac-2 ~]# udevadm trigger --type=devices
验证
[root@rac-2 ~]# ll /dev/asm*
[root@rac-2 ~]# ll /dev/dm*
重启服务器验证
在全部配置好后,重启两台节点服务器再验证一下。
rac-1
[root@rac-1 ~]# reboot
重启后再次查看/dev/asm*
[root@rac-1 ~]# ls /dev/asm*
如图所示,则说明共享存储配置完毕。
rac-2
[root@rac-1 ~]# reboot
重启后再次查看/dev/asm*
[root@rac-2 ~]# ls /dev/asm*
如图所示,则说明共享存储配置完毕。
13、上传软件包、解压并授权
共享存储配置完成后,上传安装介质并解压授权,我这里上传到/u01目录下。
rac-1
rac-1解压并授权
[root@rac-1 u01]# unzip p13390677_112040_Linux-x86-64_1of7.zip -d software
[root@rac-1 u01]# unzip p13390677_112040_Linux-x86-64_2of7.zip -d software
[root@rac-1 u01]# unzip p13390677_112040_Linux-x86-64_3of7.zip -d software
[root@rac-1 u01]# chown -R grid:oinstall software/grid
[root@rac-1 u01]# chown -R oracle:oinstall software/database
rac-2
rac-2解压并授权
[root@rac-2 u01]# unzip p13390677_112040_Linux-x86-64_1of7.zip -d software
[root@rac-2 u01]# unzip p13390677_112040_Linux-x86-64_2of7.zip -d software
[root@rac-2 u01]# unzip p13390677_112040_Linux-x86-64_3of7.zip -d software
[root@rac-2 u01]# chown -R grid:oinstall software/grid
[root@rac-2 u01]# chown -R oracle:oinstall software/database
14、安装依赖包
解压介质后,分别在两个节点上安装依赖包,如果没有外网,则需要配置本地YUM源。
rac-1
rac-1安装依赖包
[root@rac-1 u01]# yum -y install gcc* compat-libstdc* elfutils-libelf-devel* glibc-devel* glibc-headers* libaio-devel* libstdc* ksh* compat-libcap1*
# 安装Grid软件带的依赖包
[root@rac-1 u01]# rpm -ivh software/grid/rpm/cvuqdisk-1.0.9-1.rpm
rac-2
rac-2安装依赖包
[root@rac-2 u01]# yum install gcc* compat-libstdc* elfutils-libelf-devel* glibc-devel* glibc-headers* libaio-devel* libstdc* ksh* compat-libcap1*
# 安装Grid软件带的依赖包
[root@rac-2 u01]# rpm -ivh software/grid/rpm/cvuqdisk-1.0.9-1.rpm
15、安装Grid软件
安装完依赖后,就可以选择一个节点安装Grid软件了。Grid软件任选一个节点安装即可,它会在安装过程中通过免密登录将其传输到另外的节点上,我这里以rac-1节点为例。
rac-1
使用grid用户登录并安装
# 进入安装目录
[grid@rac-1 grid]$ cd /u01/software/grid
# 启动图型界面安装
[grid@rac-1 grid]$ ./runInstaller
跳过软件更新
安装配置Grid软件
高级安装
选择语言
配置集群名称
这里可以不配置GNS,另外SCAN Name必须与hosts文件中指定的scan主机名一致。
添加节点
默认只有rac-1的节点,我们手动将rac-2添加上即可。添加节点的时候是指定公共主机名和虚拟主机名。
网络接口确认
确认Public IP段和Private IP段,第三个是虚拟机自己提供的一个,不用管,当然也可以提前给它卸载掉。
OCR存储选择
OCR肯定是选择ASM存储的,不然配置ASM干嘛。
创建磁盘组
默认是不显示磁盘的,因为我们的路径和它默认的路径不同,因此需要先改变路径,让Grid识别到ASM磁盘后,再配置OCR磁盘,我这里选择默认冗余,4MB的AU大小。
设置密码
Oracle会检查密码的复杂性,因此密码尽量包含字符数字和字母,否则会有警告。
配置IPM
配置用户组
配置安装目录
这里如果空白,则说明grid用户的环境变量没配置或者没有生效。
清单目录确认
先决条件检查
先决条件检查的时候,能够解决的尽量修复,对于某些必须要打补丁或者不太严重的,可以先跳过。
确认所有信息
确认所有的配置信息,如果没有问题的话,就可以开始安装了。
执行脚本
root用户执行脚本,所有节点都需要执行。
rac-1
[root@rac-1 ~]# /u01/app/oraInventory/orainstRoot.sh
[root@rac-1 ~]# /u01/app/11.2.0/grid/root.sh
rac-2
[root@rac-2 ~]# /u01/app/oraInventory/orainstRoot.sh
[root@rac-2 ~]# /u01/app/11.2.0/grid/root.sh
完成Grid安装
16、配置其他ASM磁盘
Grid软件安装完成后,我们需要配置其他ASM的磁盘组。它们分别是存储数据的DATA磁盘组,和存储归档日志的FRA磁盘组。
rac-1
启动ASM图型界面
[grid@rac-1 grid]$ asmca
新建DATA磁盘组
新建FRA磁盘组
17、安装数据库软件
磁盘组配置好,我们使用oracle用户来安装Oracle数据库软件。
rac-1
# oracle用户进入软件目录中
[oracle@rac-1 ~]$ cd /u01/software/database
# 安装
[oracle@rac-1 database]$ ./runInstaller
配置安全更新
配置软件更新
配置安装选项
通常情况下我们选择仅安装数据库软件,后续再手动配置数据库实例。
Grid安装选项
既然是配置集群,那肯定是选择第二项。
选择语言
仅选择英文即可,无需去刻意选择中文,这里跟数据库能不能存储中文没有关系。
配置数据库版本
毫无疑问,选择企业版。
配置安装目录位置
这里如果默认没有出现目录,则说明环境变量配置错误或没生效。
操作系统组配置
执行root脚本
rac-1
/u01/app/oracle/product/11.2.0/dbhome_1/root.sh
rac-2
[root@rac-2 ~]# /u01/app/oracle/product/11.2.0/dbhome_1/root.sh
安装完成
18、安装数据库实例
安装完数据库软件后,我们开始安装数据库实例。
rac-1
[oracle@rac-1 database]$ dbca
集群选项
数据库选项
选择数据库类型
如果你的数据库更偏重于OLAP的话,则建议去选择Data Warehouse,否则选第一个即可。
选择管理策略
配置企业管理和自动任务
配置默认用户密码
配置数据库文件存储
配置快速闪回区存储
配置示例方案和安装后脚本
配置初始化参数
配置数据库存储
指定创建数据库
再次确认数据库信息
完成安装
至此,RAC就正式安装完成,可以自行使用同IP段的服务器测试连接。
错误
1、Package:pdksh-5.2.14
原因:可以理解为Oracle的bug,和先决条件检查有关系,检查的包不对。
解决方法:
rac-1
# 编辑文件
[root@rac-1 ~]# vim /u01/software/grid/stage/cvu/cv/admin/cvu_config
将OEL4修改为OEL6,保存退出即可。
CV_ASSUME_DISTID=OEL6
rac-2
# 编辑文件
[root@rac-2 ~]# vim /u01/software/grid/stage/cvu/cv/admin/cvu_config
将OEL4修改为OEL6,保存退出即可。
CV_ASSUME_DISTID=OEL6
两个节点上的文件都修改后,退出重新执行安装Grid界面即可。
2、Device Checks for ASM
原因:此问题好像是Oracle的bug,需要打补丁才行。
解决方法:暂时忽略警告,经过测试是不影响使用的,当然,最好是能够打补丁修复。
3、执行脚本root.sh脚本报错CRS-2101:The OLR was formatted using version 3.
原因:Oracle的bug
解决方法:可以通过打补丁去解决,如果不想打补丁,则执行一下命令。注意,所有节点都需要执行。
新开个bash窗口,执行如下命令,即可正常安装。注意,必须是执行root脚本或报错后才可以执行此命令,不然会报错文件找不到或目录找不到。
# 进入到临时目录中
[root@rac-1 ~]# cd /var/tmp/.oracle
# 新建npohasd文件
[root@rac-1 ~]# touch npohasd
# 授权npohasd文件
[root@rac-1 ~]# chmod 755 npohasd
4、安装Grid最后报错INS-20802
原因:没有配置DNS解析导致的SCAN IP解析失败。
解决方法:测试两个节点SCAN IP是否可以ping通,如果可以ping通,则跳过即可。
5、安装database软件报错
原因:Oracle的漏洞导致
解决方法:
编辑ins_emagent.mk文件
[root@rac-1 ~]# vim /u01/app/oracle/product/11.2.0/dbhome_1/sysman/lib/ins_emagent.mk
在$(MK_EMAGENT_NMECTL)后面新增-lnnz11
# emdctl
#===========================
$(SYSMANBIN)emdctl:
$(MK_EMAGENT_NMECTL) -lnnz11
6、执行节点2的root脚本时报错。
原因:和私网网卡的HAIP有关系,Oracle RAC会利用私网去创建169.254.XXX.XXX网段来用于节点间的心跳检测。如果这两台节点上的私网HAIP不通,则会造成此问题。
解决方法:通过ifconfig去看下两个节点间的HAIP地址,然后检查两个IP是否可以正常通信。(在裸金属服务器中有遇到过此情况,HAIP不通,让云服务器的工程师处理后,正常执行root脚本)
评论区