156 lines
4.8 KiB
Markdown
156 lines
4.8 KiB
Markdown
# K8S Master 클러스터의 LBNode 설치 가이드(HAProxy + Keepalived)
|
|
* 본 가이드는 별도의 LBNode를 갖는 K8S 다중화 클러스터 구축을 위해 작성되었음.
|
|
* 구축하려는 LBNode에 해당 파일들이 같은 디렉터리 내에 존재해야 함.
|
|
|
|
## 구성 요소 및 버전
|
|
* Keepalived v1.3.5 # LBNode에 설치
|
|
* HA-Proxy v1.5.18 # LBNode에 설치
|
|
|
|
## Install Steps
|
|
0. 변수 설정
|
|
1. HAProxy + Keepalived 설치
|
|
2. 설치한 서비스 재시작
|
|
3. K8S 클러스터 구축
|
|
|
|
## Step 0. 변수 설정
|
|
* 목적 : `LB Node 구축을 위한 변수 설정`
|
|
* 순서 :
|
|
* Keepalived 와 HAProxy를 설치 및 동작시키기 위한 변수를 설정한다.
|
|
* 클러스터 구성에 사용할 각 Master Node의 IP, VIP, LBNode에 대한 정보를 입력한다.
|
|
```bash
|
|
export MASTER1NAME=test # 클러스터로 구성할 Master Node의 host명을 각각 입력.
|
|
export MASTER2NAME=worker
|
|
export MASTER3NAME=worker2
|
|
|
|
export MASTER1IP=192.168.56.222 # Master Node의 IP를 각각 입력.
|
|
export MASTER2IP=192.168.56.223
|
|
export MASTER3IP=192.168.56.224
|
|
|
|
export LB1=192.168.56.250 # 현재 LB Node의 IP를 입력.
|
|
export LB2=192.168.56.249 # 다른 LB Node의 IP를 입력.
|
|
|
|
export VIP=192.168.56.240 # K8S Master Join시VIP로 사용할 IP를 입력.
|
|
```
|
|
|
|
## Step.1 HAProxy + Keepalived 설치
|
|
* 목적 : `설치 스크립트를 실행하여 HAProxy와 Keepalived를 LBNode에 설치`
|
|
* 순서 :
|
|
* 설치 스크립트에 실행 권한을 주고, 실행한다.
|
|
```bash
|
|
chmod +x lb_set_script.sh
|
|
./lb_set_script.sh
|
|
```
|
|
|
|
## Step.2 설치한 서비스 재시작
|
|
* 목적 : `HAProxy와 Keepalived 재시작`
|
|
* 순서 :
|
|
* 각 서비스의 설정파일에 Step0 에서 입력한 값들이 올바르게 설정되었는지 확인한다.
|
|
```bash
|
|
vi /etc/keepalived/keepalived.conf
|
|
vi /etc/haproxy/haproxy.cfg
|
|
```
|
|
|
|
* Keepalived 설정파일의 세부내용을 확인/수정한다.
|
|
* state 필드는 MASTER or BACKUP을 반드시 수정하며, priority 또한 수정한다.
|
|
* interface도 수정해줘야한다.
|
|
```bash
|
|
global_defs {
|
|
script_user root root
|
|
enable_script_security off
|
|
}
|
|
|
|
vrrp_script chk_haproxy {
|
|
script "/usr/sbin/pidof haproxy"
|
|
interval 2
|
|
weight 2
|
|
}
|
|
|
|
vrrp_instance VI_1 {
|
|
state MASTER # MASTER는 메인 LB, 백업 LB는 BACKUP 으로 설정
|
|
interface enp0s8 # 사용할 interface
|
|
virtual_router_id 51
|
|
priority 100 # MASTER의 우선순위가 적어도 1이상 높아야 함
|
|
advert_int 1
|
|
nopreempt
|
|
authentication { # 인증에 사용될 password(동일하게 맞춰주기만 하면 됨)
|
|
auth_type PASS
|
|
auth_pass 1111
|
|
}
|
|
|
|
unicast_src_ip LB1 # LB 서버 local ip
|
|
|
|
unicast_peer {
|
|
LB2 # 다른 LB 서버 local ip
|
|
}
|
|
|
|
virtual_ipaddress {
|
|
VIP # 클러스터 구성에 사용될 VIP!
|
|
}
|
|
|
|
notify_master "/bin/sh /etc/keepalived/notify_action.sh MASTER"
|
|
notify_backup "/bin/sh /etc/keepalived/notify_action.sh BACKUP"
|
|
notify_fault "/bin/sh /etc/keepalived/notify_action.sh FAULT"
|
|
notify_stop "/bin/sh /etc/keepalived/notify_action.sh STOP"
|
|
|
|
track_script {
|
|
chk_haproxy
|
|
}
|
|
|
|
track_interface {
|
|
enp0s8 # 사용할 interface
|
|
}
|
|
}
|
|
```
|
|
|
|
* HA Proxy 설정파일의 세부내용을 확인/수정한다.
|
|
```bash
|
|
global
|
|
log 127.0.0.1 local2
|
|
maxconn 2000
|
|
uid 0
|
|
gid 0
|
|
daemon # background process
|
|
|
|
defaults
|
|
log global # global 설정 사용
|
|
mode tcp # SSL 통신을 위해서는 TCP모드로 (http모드는 SSL 안됨)
|
|
option tcplog
|
|
option dontlognull # 데이터가 전송되지 않은 연결 로깅 제외
|
|
retries 3 # 연결요청 재시도 횟수
|
|
maxconn 2000 #option redispatch
|
|
timeout connect 10s
|
|
timeout client 1m
|
|
timeout server 1m
|
|
|
|
frontend k8s-api
|
|
bind 0.0.0.0:16443
|
|
default_backend k8s-api
|
|
|
|
backend k8s-api
|
|
option tcp-check
|
|
balance roundrobin
|
|
server MASTER1NAME MASTER1IP check # Master 다중화 서버들 정보 기재
|
|
server MASTER2NAME MASTER2IP check
|
|
server MASTER3NAME MASTER3IP check
|
|
```
|
|
|
|
* 각 서비스를 활성화시켜주며 재시작하고, 동작을 확인한다.
|
|
```bash
|
|
systemctl enable haproxy
|
|
systemctl enable keepalived
|
|
|
|
systemctl daemon-reload
|
|
|
|
systemctl restart haproxy
|
|
systemctl restart keepalived
|
|
|
|
systemctl status haproxy
|
|
systemctl status keepalived
|
|
```
|
|
|
|
## Step.3 K8S cluster 구축
|
|
* 목적 : `LB Node 설정을 완료한 이후, K8S 클러스터 구축을 계속한다`
|
|
* 순서 :
|
|
* 아래의 GUIDE에서, 3-1번(keepalived 설치)을 제외하고 클러스터 구축을 수행한다.
|
|
* [K8S MASTER INSTALL GUIDE](https://github.com/tmax-cloud/install-k8s#k8s-cluster-%EA%B5%AC%EC%B6%95-%EA%B0%80%EC%9D%B4%EB%93%9C)
|