[k8s] 쿠버네티스 설치 in GCE(Centos VM)

1-1. Root 비밀번호 설정 및 Root 계정 접근

VM을 생성 했으면 이제 Root 비밀번호를 설정 해주고 Root 권한으로 넘어가자. 쿠버네티스는 항상 루트 권한으로 진행 한다. 먼저 루트 계정의 비밀번호를 설정 한다. GCE를 껏다가 새로 키는 경우 항상 Root로 계정을 전환 해야 한다.

sudo passwd root

[sudo] password for xxxx:
New password:
Retype new password:
passwd: password updated successfully

그리고 나서 루트 권한으로 넘어가자.

su

1-2. Centos 기본 패키지 upgrade & update

루트 권한으로 들어 갔으면 이제 다음의 커맨드를 통해 Centos 의 기본 패키지들을 upgrade & update 해준다.

yum upgrade
yum update

1-3. SWAP 메모리 해제

쿠버네티스는 메모리를 효율적으로 활용하기 위해 빠른 접근이 가능한 실제 메모리를 선호한다. 스왑 메모리는 디스크에 위치해 느린 속도로 접근되기 때문에 성능 저하를 일으킬 수 있다. 따라서 스왑 메모리를 해제하여 성능을 향상 시키고 안정성을 높힌다. GCE를 껏다가 새로 키는 경우 항상 SWAP 메모리를 해제 해줘야 한다.

sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
swapoff -a

1-4. Docker 설치

쿠버네티스를 설치 하기 위해 Docker를 설치 해준다. 다음의 커맨드를 하나씩 입력 하여 도커를 설치 해준다.

yum install -y yum-utils
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sudo yum install docker-ce docker-ce-cli containerd.io
sudo systemctl start docker

1-5. 도커 cgroup 관리

Docker의 설정 파일인 /etc/docker/daemon.json에 새로운 구성을 추가하자. Docker가 컨테이너를 실행할 때 systemd를 사용하여 cgroup을 관리하도록 지정하는 내용이다.

 cat <<EOF | sudo tee /etc/docker/daemon.json
 {
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2"
}
EOF

1-6.Docker 서비스 부팅 설정 및 재시작

Docker를 관리하기 위해 시스템 서비스인 systemd를 이용하여 docker를 설정 해주자.

sudo systemctl enable docker
sudo systemctl daemon-reload
sudo systemctl restart docker

1-7. Container.d에서 CRI 비활성화 해제하기

다음 커맨드를 통해 ‘/etc/containerd/config.toml’ 파일을 열고 편집한다. 이는 Container.d런타임에서 CRI(Container Runtime Interface)를 비활성화 해제 하기 위함이다.

vi /etc/containerd/config.toml

이 편집기에서 다음을 찾아서 주석처리 해주면 된다.

# disabled_plugins = ["cri"]

그리고 나서 이제 다시 containerd를 재시작 해준다.

systemctl restart containerd

1-8. 보안 및 네트워크 설정

쿠버네티스에서 컨테이너간 네트워킹을 구축하는데 필요한 커맨드를 작성해주자.

• modprobe overlay
  • 컨테이너 네트워킹을 위한 필수 기능을 제공한다.
• modprobe br_netfilter
  • 컨테이너 네트워크의 보안을 담당한다.
  • 네트워크 트래픽을 필터링하고 관리 한다

modprobe overlay
modprobe br_netfilter

이제 마지막으로 쿠버네티스 설치를 위해 시스템에 설정 파일을 추가 하자. 이 설정파일은 네트워크 브릿지 관련 기능을 활성화 하기 위한 것으로, IPv6 및 IPv4 트래픽을 iptables로 라우팅하도록 시스템을 구성한다.

cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

지금까지 쿠버네티스를 설치하기 위한 기본준비를 마무리 했다. 이제 본격적으로 설치를 진행 하자.

3-1.

우선 우리가 방금 만들어 둔 ‘k8s-default-image’ VM을 클릭한다.

3-2.

그리고 나서 우측 상단의 ‘머신 이미지 만들기’ 버튼을 클릭해주자.

3-3.

머신 이미지를 만들어 준다. ‘k8s-setup’ 이라고 이름을 지어준다. 이렇게 이미지 생성은 끝.

4-1.

Compute Engine으로 넘어가서 ‘인스턴스 만들기’ 버튼을 클릭 해준다.

4-2.

왼쪽의 ‘머신 이미지에서 VM 인스턴스 만들기’ 버튼을 클릭해주면 우리가 생성한 이미지가 보이게 된다. 그리고 나서 ‘CONTINUE’ 버튼을 클릭해주자.

4-3.

쿠버네티스가 설치된 VM이미지를 기준으로 Master Node에 해당하는 VM을 생성한다. ‘k8s-mastet-1’ 이라는 이름과, e2-medium 으로 해서 맞춰주고 만들기 버튼을 클릭해준다.

4-4.

이번에는 Worker Node를 만들어 준다. 다음 그림과 같이 e2-small로 설정 해주고 VM이름도 k8s-worker-1,2,3 로 해서 총 3개를 만들어 준다.

5-1.

설치한 총 4개의 VM을 MovaXterm에 다음과 같이 추가 시켜 주자. 그리고 각각 서버를 클릭해서 열어 준다.

5-2.

4개 서버를 열었으면. 왼쪽 홈 탭을 ‘Close tab’ 버튼을 클릭해서 없애준다.

5-3.

그리고 나서 상단 ‘Split’ > ‘4 terminals mode’ 를 클릭 해주자.

5-4.

그러면 이렇게 총 4개의 화면을 볼 수가 있다. 이렇게 총 4개의 VM을 확인했으니 Master, Worker Node를 만들어 주자.

6-1. Master Node 세팅

우선 마스터 노드 부터 세팅 해보자. kubeadm init 커맨드를 사용하여 클러스터를 초기화 한다.

kubeadm init

이를 실행하게 되면 다음과 같은 결과를 볼 수 있다.

여기서 다음의 커맨드를 그대로 복사 해서 Master Node에 그대로 입력 해준다.

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

이렇게 Master Node의 세팅은 성공적으로 마무리 되었다.

6-2. Worker Node 세팅

이번에는 Worker Node에 세팅을 해주자. ‘kubeadm init’커맨드를 통해 나온 결과중 가장 하단의 ’kubeadm join …’ 메시지를 복사해서 Worker Node에 각각 복사해준다.

6-3. Master Node Join 확인

자 이제 Master Node에 가서 Werker Node가 잘 Join 되었는지 확인해보자. 다음의 커맨드를 입력 해보자.

kubectl get nodes

다음은 ‘kubectl get nodes’ 커맨드를 입력했을 때 나오는 결과이다. k8s-worker-1,2,3이 join 되었으나 STATUS가 현재 ’NotReady’로 표시 되어 있다. 이를 Ready로 바꿔주는 작업을 진행하자.

NAME           STATUS     ROLES           AGE    VERSION
k8s-master     Ready      control-plane   6d8h   v1.28.2
k8s-worker-1   NotReady      <none>       6d8h   v1.28.2
k8s-worker-2   NotReady      <none>       6d8h   v1.28.2
k8s-worker-3   NotReady      <none>       6d8h   v1.28.2

6-4. Master Node: Weave 네트워크 플러그인을 사용하여 CNI 구성 적용

거의 다 왔다. 이제 Kubernetes 클러스터에 Weave 네트워크 플러그인을 설치하고, 이를 통해 CNI(Container Network Interface) 를 활용하여 컨테이너 간 네트워크 설정을 구성하자. 이것을 해주어야. 각 컨테이너간의 접속이 가능하다.

kubectl apply -f https://github.com/weaveworks/weave/releases/download/v2.8.1/weave-daemonset-k8s.yaml

이 작업을 하고 다시 ‘kubectl get nodes’ 커맨드를 입력 하면 다음과 같은 결과를 확인할 수 있다

NAME           STATUS     ROLES           AGE    VERSION
k8s-master     Ready      control-plane   6d8h   v1.28.2
k8s-worker-1   Ready      <none>          6d8h   v1.28.2
k8s-worker-2   Ready      <none>          6d8h   v1.28.2
k8s-worker-3   Ready      <none>          6d8h   v1.28.2