아래 기본 정보 기준 Oracle MOS 상 Certification 정보 사전 검토 필수
각 OS Platform 별로 DBMS 구성 가능한 최소 Kernel 버전 존재
해당 Kernel 버전보다 큰 OS Platform 구성 필수
↘ OS RUNLEVEL 및 DISPLAY 구성
OS Boot Level 지정 중, 아래 두개 옵션 구성 필수
Multi User : 3
Multi User + GUI : 5
즉 Linux Platform 에서 유지보수 모드가 아닌 유저 접속 가능 필요.
# Env Rootrunlevelwho -rsystemctl get-default
OUI 구성을 위한 Display 환경 구성 필수
Local / Remote Virtual Display 환경 구성 필수
구성 간 최소 1024 X 768 해상도 지원 필요
OUI를 통한 구성 필수 사항 , 구성 X 시 Silent 구성
ORACLE 설치 간 OUI 통한 구성을 권장.
↘ OS BOOT(GRUB/EFI) 구성
Linux for Oracle 관련 구성 기능 검토 사항
NUMA 관련 기능
Linux NUMA는 다중 CPU 환경에서 메모리 효율을 위해 메모리를 분할하여 사용하는 방식
Oracle Database의 경우 공유메모리 환경구성 상 NUMA 기능이 성능 효율을 떨어뜨림.
numa=Off 권장
THP , Transparents Huge Pages - Disabled 권장
Linux 메모리 관리 기능 중 HugePage 기능을 사용하여 성능 개선을 위하여
Standard HugePages만 사용 권고.
Linux 6 이상 버전부터 구성 가능. (+SUSE11)
# Env Rootcat /sys/kernel/mm/redhat_transparent_hugepage/enabledcat /sys/kernel/mm/transparent_hugepage/enabled # Default : [always] madvise never # 해당 기능 Server Boot 부터 [never] 옵션 필요# 구성 방안# /etc/default/grub 파일 백업 후 값 수정cp /etc/default/grub /etc/default/grub_orgvi /etc/default/grub # ==> GRUB_CMDLINE_LINUX 값 quiet 값 뒤에 아래 라인 추가 # numa=off transparent_hugepage=nevergrub2-mkconfig -o /boot/grub2/grub.cfg # 이후 서버 Reboot 후 값 변경 확인
단 Active / Active 구성일 경우 Switch 구성 간 Slave Interface 장애 시 살아남은 다른 Active에서 구성 전환에 문제 없는지 확인 필수
Switch 상에서 Active-Active Failover 장애 기능 처리 및 지원여부 확인
Network Switch 이중화 구성 여부 검토
Network Switch 이중화 구성을 권장.
NIC 이중화 구성 시 Network Switch 또한 이중화 구성 가능 검토
Switch 이중화 구성시 Switch 간(Cross) 통신도 가능하도록 구성 검증 필수
네트워크 구성 일반/최소 검토 권고 사항
Zero Network 사용 금지 (169.254.X.X 대역)
전체 RAC 구성 NODE 일체
Linux Server 중 USB 연결, 외부연결 등의 장치를 해당 대역을 사용하는 경우 존재 대표적으로 ILOM 존재하는 서버의 경우 OS와 통신을 위해 연결되는 경우도 있음.
서버 구성 간 Zero Network 사용 여부 필수 검증 (SERVER/OS PART)
Oracle RAC의 HAIP는 기본적으로 Zero Network 대역으로 통신
HAIP는 RAC의 내부 통신을 위해 구성되며, Interconnect 대역으로도 불림.
Oracle Grid Infrastructure에 의해 자동관리
Private Network 구성을 기반으로 VIP(Virtual IP)로 구성됨
기본적으로 168.254.X.X IP 중 랜덤하게 할당. 이 구성을 RAC에서 HAIP 리소스로 관리.
Interconnect 대역 동작 방식 - 장애 발생 위험성
Interconnect IP 통신은 기본적으로 Unicast / BroadCast를 사용
RAC로 구성된 전체 노드는 해당 통신 프로토콜에 모든 서버가 응답할때 까지 RAC노드는 모두 대기하거나 정지됨 ⇒> Network 장애로 판단, Brain-Split 조건
Brain-Split 발생 시, RAC노드 중 장애로 판단된 서버를 중지 (CRS HANG) 발생
즉 RAC구성 노드 간 Zero Network 대역은 Oracle이 사용하는 용도 외 IP 할당 및 사용 금지 필수
DNS 구성 관련 검토 사항
DOMAIN 사용 가능, 단 설치/구축 이후 구성 권장
DNS DOMAIN 사용시 인식되는 서버의 이름 (node.domain.io) 형태가 설치 전 서버의 이름을 지정될 시, 이후 노드명 관리가 어려워짐
실제 RAC에서 Full-Spec 경우 DNS Server 3개 필요
미구성 후 구축 및 운영 가능
NTP 구성 관련 검토 사항
시간 동기화를 위한 구성 가능
RAC는 프로세스 통신을 통해 시간 동기화를 맞추는 기능도 제공함.
단 전체 IT 시스템의 시간 동기화를 위한 구성시 아래 3가지 사항 고려
시간 동기화는 실시간 또는 Polling Time의 Delay가 10s 미만으로 구성 필수
chronyd 구성 시 time 서버는 2개 이상 구성
ntpd 구성시 ntpd 프로세스 옵션상 -x 옵션 구성 필수
↘ RAC Network 역할 및 권장사항
Network Role
권장사항
(H/W) : Public Network - Service Network (DB) - Public IP - Hostname IP
최소 필요 IP : 클러스터 노드 * 2 (각 노드 당 최소 1개) - Public Network 구성의 물리IP (HOSTNAME IP) + 오라클 기준 서버관리 IP + Network Protocol : TCP / UDP
- Public Network 구성 간 NIC H/W 이중화 권고 + 최소 1GbE 이상 지원 가능한 인터페이스 및 스위치 사용 + DB Service를 제공하는 물리 네트워크(서비스망) + 서비스망 네트워크 속도에 맞춰서 구성
(VIP) : Virtual Network - Virtual IP - Service IP (Per Node)
최소 필요 IP : 클러스터 노드 * 2 (각 노드 당 최소 1개) - 각 Node 별 DB Service를 제공하는 가상 IP + Node의 물리 Public Network 별로 1개씩만 등록 가능 + Grid Infrastructure에서 관리되는 Network 리소스
- Public Network Interface 장치를 공유해서 구성 + Public NIC 이용, 가상 Network IP 할당 + Public Network 대역과 동일 대역 IP 필요 + Virtual Network의 성능은 Public Network 성능과 동일
(VIP) : SCAN Network - Virtual IP - Service IP (Per Cluster)
최소 필요 IP : 클러스터 시스템 당 1개 (최소 1개 ++) - RAC Cluster의 Service Load Banlance IP (Round-Robin) + SCAN IP의 경우 Cluster 당 최소 1개등록, 추가 가능. + Grid Infrastructure에서 관리되는 Network 리소스
- Public Network Interface 장치를 공유해서 구성 + Public NIC 이용, 가상 Network IP 할당 + Public Network 대역과 동일 대역 IP 필요 + SCAN Network의 성능은 Public Network 성능과 동일
(H/W) : Private Network - Private IP - Interconnect Network - Interconnect IP (VIP)
최소 필요 IP : 클러스터 노드 * 2 (각 노드 당 최소 1개) - Private Network 구성의 물리IP (HeartBeat Network) + Database Internal Network (Interconnect) + Grid Infrastructure Network + RAC Node들 간에만 통신 가능한 별도의 네트워크 구성 필수! + Public Network와 다른 Network 대역 필수!
- Private Network 구성 간 NIC H/W 이중화 권고 + 최소 1GbE 이상 지원 가능한 인터페이스 및 스위치 사용 + 1GbE 이상의 성능 구성 권장 (Interconnect 성능과 직결) + Network Protocol : TCP
- Private Network 구성 간 Switch 이중화 권고 + 별도의 L2 Spec 이상의 Switch로 구성된 H/W 구축 권고 + 이중화 구성 시, Switch 간/Port 간 통신 가능 여부 검토 + Switch VLAN 구성 적용 가능 + VLAN 구성시 Network BandWidth 개런티 필요
- Private Network 구성 간 MTU 관련 권장 사항 + MTU 9000 구성 권장 + SERVER/SWITCH 모두 설정 필수 (PORT 설정) + Switch 이중화 구성 시, Switch 간 통신도 MTU 변경 필요
(H/W) : ASM Network - (OPTION) ASM IP - 18c New Feature
( 옵션 구성 ) 최소 필요 IP : 클러스터 노드 * 2 (각 노드 당 최소 1개) - 18c Above Version
- Private Network과 ASM Network 분리 환경 필요 시 구성 + 기본적으로 Private Network에서 ASM Network 트래픽 처리 + Network Protocol : TCP
- 구성시 ASM Network 구성 H/W 이중화 권고 사항 + 구성시, Public/Private Network와 별도 대역 및 IP 필요 + 물리적 NIC/Switch 이중화 권고는 Private Network와 동일
Oracle Standalone Cluster 구성 상 Storage Layer는 공유 볼륨 환경 필수
ASM 상에서 관리되는 공유 볼륨은 ASM Diskgroup 단위로 분류됨
ASM Diskgroup는 ASM_DISK의 집합체
Oracle RAC 기준 공유 볼륨은 RAC 시스템을 이루는 모든 노드에서 동시 읽기 쓰기를 지원하는 것을 의미 (No Reserved)
모든 노드의 볼륨은 동일한 장치와 위치(Device Path)로 구성되어야함 (Oracle 인식기준)
Orace RAC에 구성되는 공유 볼륨은 Grid Infrastructure와 Database만을 위한 볼륨
Oracle Cluster Storage로 사용되는 공유 볼륨 요건
Shared Storage ⇒> Oracle ASM 또는 Shared File System 형태로 구성
공유 볼륨으로 구성되는 스토리지는 Oracle RAC의 소유자/권한으로 구성 필수
Oracle ASM / VCFS 구성에 따라 요구되는 OCR/VOTE 영역의 구성 및 Redundancy 옵션이 다름
Block Device
Multipath Device ⇒> I/O Multi Path를 제공하여 I/O 처리하는 형태
/dev/mapper or /dev/emcpower⇒> /dev/dm-*
Native Multipath / EMC PowerPath(emc power) 등 Mapper Device
일반적으로 RAC를 구성하기 위한 권장 옵션
RawDevice ⇒> Block Device를 RawDisk로 구성하는 형태
/dev/raw
11g 이하 버전에서만 제공되는 옵션, 이상버전의 경우 Raw Device를 DBMS에서 인식되는 블록장치로 제공되지 않음
Shared File System
VCFS ⇒> Veritas Cluster File System
베리타스 솔루션에서 제공하는 공유 파일시스템 형태로 구성
OCR/VOTEDISK 구성을 위해 분리된 공유파일 시스템 볼륨을 구성.
서로 다른 최소 3개이상의 공간 필요 (Mount Point)
I/O Throughput 및 구성은 VCFS 통해 수행 및 관리 필요.
RAC : ASM Diskgroup 구성 가이드라인 - 디스크 구성 필수사항
Storage 상 ASM_DISK 생성 시 검토 사항
스토리지의 물리적 LUN 구성 간 RAID 등 하드웨어 레벨의 로드밸런싱 검토 및 적용 필수
디스크그룹 구성하는 ASM_DISK (Storage LUN or Physical Disk) 구성 간 디스크 컨트롤러의 배수로 ASM 디스크 개수를 구성할 것을 권장
ASM_DISK의 사이즈는 스토리지 상에서 최적의 퍼포먼스로 동작 가능한 사이즈로 구성
스토리지 전문가의 스토리지 구성에 따른 분석 및 사이즈 권고안 필수!
스토리지의 볼륨 사이즈 최적 권고안 필요 (OS/STG Part의 권고값 필요)
Storage 및 Disk Controller 상의 Spec 검토
볼륨 I/O 블록 사이즈(Sector Size) 및 I/O Throughput 최적안 검토
각 스토리지 벤더사 제공 문서 확인검토 필수 (STG Part)
각 디스크그룹을 구성하는 ASM_DISK는 Bytes 단위로 모두 동일 사이즈로 구성 필수
향후 디스크그룹 증설의 디스크 추가시에도 같은 사이즈로 증설 필수
ASM Striping / Rebalance의 정상적인 동작을 위함
Server OS 상 ASM_DISK 생성 시 검토 사항
Block Device 구성 후 필수 검토 사항 →> Oracle ASM_DISK 전환
ASM_DISK로 사용하기위한 구성 장치 소유자/권한 관리를 위한 검토 옵션
기본 블록장치인 /dev/sd* 형태는 사용 절대 금지
소유자/권한의 구성은, 서버 Reboot 시에도 유지될수 있도록 구성
OS 상에서 OS Partition 구성 필수 (Not Formatting)
디스크/볼륨 자체로 사용 시, OS 및 STORAGE 상의 Volume Header 조작 및 관리 상의 문제 회피를 위함.
(OPT#1) Oracle ASM Library
Oracle에서 제공하는 oracleasmlib 이용하여 Block Device를 관리
구성된 장치의 경우, /dev/oracleasm 위치 상에서 소유자/권한 관리하는 방식
각 블록장치의 헤더/레벨을 인식해서 별도의 블록장치로 구성하는 형태
OS/STG 영역과 별개로 DB 관리 차원에서 별도 스토리지 장치를 관리하는 방안
시스템 관리 시 이중 관리 포인트로 작용 (OS/STG/DB Part)
(참고사항) ASM Filter Driver - AFD
12cR2 이상버전부터 GI 엔진 내장 기능중 OS 상 접근 보안기능을 추가한 AFD를 이용하여 H/W 디스크 관리가능하나, 권장하지않음.
해당 기능 사용시 OS 상에서도 해당 디스크장치를 ACCESS하지 못함.
(OPT#2) UDEV 통한 Block Device 관리
OS/STG 상에서 블록 장치를 관리하는 형태
OS 상에서 udev 통한 소유자/권한 관리 방식
Grid 유저 소유 / 0660 구성 필수
/etc/udev/rules.d 상 프로파일을 이용, 블록 장치 관리
DB Engineer 관점 구성 권장사항
디스크그룹의 AU_SIZE 고려사항
Redundancy 옵션에 따른 AU_SIZE는 Storage Sector Size 및 성능을 고려하여 산정
기본 값은 External 옵션의 경우 4MB, 중복 옵션을 지정한 그룹의 경우 1MB로 구성 권장
AU Size는 (1/2/4/8/16/32/64 MB)의 옵션 값 존재
최초 디스크그룹 구성에 선택한 AU_SIZE를 재구성하기 위해선 재생성 필수
Storage 상의 I/O Block Size(Sector Size)의 배수로 구성을 권고
물리 Sector Size 기준의 배수
Redundancy 옵션 검토 사항
Redundancy
Multiplex
Min Disk
Default AU_SIZE
- External
데이터 이중화 X
1EA 1 Set
- 4 MB
- Normal
데이터 이중화 O
2EA 1 Set
- 1 MB
- High
데이터 삼중화 O
3EA 1 Set
- 1 MB
Oracle ASM에서 제공하는 ASM Diskgroup의 데이터 복제 요건 (Logical)
논리적으로 지정된 복제옵션에 따라 Disk Group 내에서 자동으로 데이터를 복제 관리함.
실제 사용가능한 Disk Group의 사용량은 Redundancy 옵션에 따라 다름
지정된 ASM Diskgroup Redundancy는 최초 ASM Disk group 생성 시 지정됨 Redundancy 변경을 위해선 Disk Group 재생성 필수
위 Diskgroup의 Redundancy 기준으로 디스크가 구성/변경/추가 되어야함.
RAC : ASM Diskgroup 구성 가이드라인 - OCR/VOTEDISK
(필수/최소) Oracle 19c Clusterware Storage Space (ASM 필요 영역) GuideLine
ASM 구성 시 클러스터 관리를 위한 디스크 그룹 1개 필수 지정
VCFS의 경우, 최소 3개의 분리된 파일시스템 구성 필수
Redundancy 옵션에 따름
DiskGroup
Role
OCRVOTE DG
Oracle Clusterware (GI,Grid Infrastructure)의 MetaData 관리 - GI의 Cluster 기능을 유지하는 OCR/Vorting Disk의 구성 대상
+ OCR : Oracle Cluster Ready Service, GI 리소스 및 구성 정보 + VOTE/Vorting Disk : GI Cluster Alive Check를 위한 구성 파일 - Membership Logic : Disk I/O Check
Redundancy
Multiplex
Min Disk
Disk per Min Size
- External
데이터 이중화 X
1EA (1/1 요구)
- 2GB ( Default 1GB / Provision 1GB )
- Normal
데이터 이중화 O
3EA (2/3 요구)
- 2GB ( Default 1GB / Provision 1GB )
- High
데이터 삼중화 O
5EA (3/5 요구)
- 2GB ( Default 1GB / Provision 1GB )
# Grid MetaData - 디스크그룹 사이즈 공식Total Size = ( 2 * ausize * Disks )+ ( Redundancy * ( ausize * (all_client_instances + nodes + disks + 32 ) + ( 64 * nodes ) + clients + 543 ) - redundancy = 미러 수 : 외부 = 1, 일반 = 2, 높음 = 3, flex = 3 - ausize = 메타데이터 AU 크기(MB) - all_client_instance = 모든 데이터베이스 클라이언트 및 ACFS 프록시 인스턴스의 합계 - nodes = 클러스터에 있는 노드 개수 - clients - 각 노드에 대한 데이터베이스 인스턴스 개수 - disks - 디스크 그룹의 디스크 개수
최소 디스크 수의 경우, (OCR/Vorting Disk 요구)되는 최소 디스크 값 요건
OCR/VOTE구성 간 이중화 (또는 삼중화) 구성 권장!
OCR/VOTE구성을 위한 Diskgroup 구성 시 데이터 복제(Redudnacy) 옵션 요구사항 중, Vorting Disk 구성에 있어 디스크 하드웨어가 홀수로 구성되는 필수 제약사항 존재
↘ RAC GIMR 고려사항 (MGMT_DB)
(OPTION) 19c Grid 관리 구성요소(GIMR,MGMTDB) 구성 간 고려사항
Oracle RAC 상의 H/W 및 RAC Operation 정보를 주기적으로 수집
Support 지원 상 제공 가능한 시스템 분석정보 자동 관리 (+ AHF/TFA)
12cR1 부터 Oracle Grid Infrastructure 통해서 제공
별도의 DB가 자동구성 되며 (_MGMTDB) 해당 DB에 데이터적재, 별도의 툴로 정보 확인
Oracle 19c Version 부터 해당 기능은 Optional하게 구성 가능
구성 필요시 별도의 디스크그룹을 구성할 것을 권고
GIMR을 대체할 여러 유틸리티들이 존재하고 Real-Time 모니터링의 특성상 부하 발생 및 Bug 등으로 인한 사이드임펙트 존재.
OSWatcher / ORACHK / ORATOP 등의 대체 유틸리티 존재
GIMR 구성시 분리 대상 ASM_DISKGROUP 구성 요건
DiskGroup
Role
MGMT DG
Oracle GIMR을 위한 별도 DIskgroup 관리 - Oracle RAC의 진단정보 수집(OS/GI/DB) 및 관리용 DB(_MGMTDB)를 위한 영역 - GIMR 구성시, 별도 Diskgroup 미분리 시 + OCRVOTE용 디스크그룹과 병합되어 구성되므로 GIMR 구성시 DG 분리 필수
.구축설계_및_정의/../../../../../../_BRAIN/+SETTING/+ATTACH/-PICTURE/Pasted-image-20231108164543.png)
.HW_네트워크구성_검증/../../../../../../_BRAIN/+SETTING/+ATTACH/-PICTURE/Pasted-image-20231204113735.png)
.HW_스토리지구성_검증/../../../../../../_BRAIN/+SETTING/+ATTACH/-PICTURE/Pasted-image-20231204210444.png)