[Kubernetes] 쿠버네티스 입문: Part I. 쿠버네티스 시작하기

💡 본 문서는 '쿠버네티스 입문: Part I. 쿠버네티스 시작하기'에 대해 정리해놓은 글입니다.
'쿠버네티스 입문'이라는 Kubernetest의 개념 및 실습을 다룬 책을 읽으며 관련 핵심 내용을 정리하였습니다. 본 문서의 경우 'Part I. 쿠버네티스 시작하기'의 내용인 쿠버네티스를 처음 접하는 사람이 꼭 알아야 할 내용에 대해 다루었으니 참고하시기 바랍니다. 추가로, 해당 책의 샘플 예제는 [github] kubernetes-book-sample에서 다운 받아 kubectl apply -f <filename>.yaml 명령을 통해 실습할 수 있으니 참고하시기 바랍니다.

1. 쿠버네티스 소개

쿠버네티스와 컨테이너가 무엇인지 소개하고 쿠버네티스의 주요 특징을 소개합니다.

컨테이너

리눅스는 원래 프로세스 별로 자원을 격리해서 사용하는 cgroup과 특정 디렉토리로 권한을 제한하는 chroot 등으로 격리 환경을 구성할 수 있었습니다. 여기에 디스크의 파일 변경 사항을 레이어 형태로 저장하는 파일 시스템을 합해 '컨테이너'라는 개념이 탄생했습니다.

기존의 가상화나 클라우드 컴퓨팅을 설명할 때에 가상 머신(Virtual Machine, VM)을 많이 언급합니다. 하지만 컨테이너가 알려지며 구조상 레이어가 더 간단한 컨테이너 기술에 관심이 쏠리기 시작했습니다.

• 컨테이너의 경우, Host OS 위에 도커가 있으나
• 가상머신의 경우, 하이퍼바이저 위에 가상머신마다 Guest OS가 있고 그 위에 앱이 위치

따라서 컨테이너 구조가 훨씬 간단합니다. 또한 도커를 이용하면 간단한 명령으로 컨테이너 이미지를 만들고 저장/실행이 편리합니다.

컨테이너 오케스트레이션 시스템

이렇게 컨테이너를 실행하기에는 도커가 매우 편리하지만, 실제 상용 서비스를 운영할 때처럼 여러 대의 서버를 관리하기에는 불편한 점이 많습니다. 이를 도와주는 시스템을 '컨테이너 오케스트레이션'이라 하며, 이러한 시스템은 다음과 같은 주요 특징이 있습니다.

1. 서버 하나에 장애 발생시 상용 서비스에 영향을 받지 않도록 관리
2. 여러 대의 서버를 한번의 명령으로 자동 배포

이렇게 컨테이너 오케스트레이션 시스템에는 여러 상용 서비스가 있었는데, 현재는 쿠버네티스(Kubernetes, k8s)가 사실상 표준으로 사용되고 있으며, 다음과 같은 특징을 가지고 있습니다.

쿠버네티스의 특징

1. 선언적 API
   • 컨테이너가 설정한 상태가 아니라면 그것에 맞게 자동으로 맞춤(항상 원하는 상태로 자동 복구)
   • 하지만 이로 인해 불편한 점도 있음(앱이 없어야 할 때는 설정하기 쉽지만, 앱 재시작 같은 단순한 작업은 할 수 없음 → 쿠버네티스 시스템 내부 동작으로 사용자가 제어할 수 없기 때문)
2. 워크로드 분리
   • 분산된 프로세스의 관리를 추상화하는 레이어가 되므로 시스템 운영에 대해 고민을 덜어줍니다.
3. 어디서나 실행 가능
   • 개인 컴퓨터, 여러 대 서버, 퍼블릭 클라우드, 단순히 웹에서 구동 가능.
4. 커뮤니티
   • 2019년 12월 기준 약 2,300명의 기여자와 86,000개의 커밋이 있음
   • 쿠버네티스 공식 깃허브의 Issue
   • slack 채널(kubernetes-users)
   • 페이스북 그룹(Kubernetes Korea Group)
5. 클라우드 플렛폼: 낮은 진입장벽
   • Google Cloud Platform
   • Microsoft Azure
   • Amazon EKS: AWS에서는 쿠버네티스 관리형 서비스

2. 쿠버네티스 설치하기

쿠버네티스를 이용하는 방법

이제부터 실제 여러분의 컴퓨터에 도커와 쿠버네티스를 이용하는 방법에는 다음과 같이 4가지가 있습니다.

1. 웹 상에서 이용: 카타코다 쿠버네티스 플레이그라운드 (kubectl 관련 명령 실행 가능)
   • O'reilly에 인수되어 현재 지원하지 않음 (22.06.15. 이후)
2. 도커 데스크톱: 로컬에 쿠버네티스 직접 설치
   • 도커 데스크툽 실행 후 ‘Enable Kubernetes’, ‘Deploy Docker Stacks to Kubernetes by default’ 옵션 적용
3. 클라우드 서비스: 실제 상용 서비스에 쿠버네티스 클러스터를 구성하고 관리 가장 간단한 방법
   • 구글 쿠버네티스 엔진(GKE)
   • 아마존 쿠버네티스 일래스틱 컨테이너 서비스(Amazon EKS)
   • 애저 쿠버네티스 서비스(AKS)
4. 쿠버네티스 클러스터를 직접 구성하는 도구: 규칙준수 이슈를 해결할 때 활용
   • Kubeadm
   • Kubespray

이렇게 4가지 방법 모두 kubernetes를 사용하기 위한 kubectl 명령을 지원합니다. 여기서 '웹 상에서 이용', '도커 데스크톱', '클라우드 서비스'의 경우 책 상에서 자세히 다루고 있지 않기에 따로 자세히 소개하지 않고, '쿠버네티스 클러스터를 직접 구성하는 도구'에 대해 상세히 설명하도록 하겠습니다.

쿠버네티스 클러스터를 직접 구성하는 도구

클라우드 서비스에서 제공하는 쿠버네티스 도구를 이용하더라도 여러가지 사정 때문에 직접 쿠버네티스 클러스터를 구성해야 할 때도 있습니다. 여기에서는 사내 서버 자원에 쿠버네티스 클러스터를 직접 구성하거나, 규칙 준수(compliance) 이슈를 해결할 때 활용하는 대표적인 도구인 Kubeadm, Kubespray를 살펴보겠습니다.

1) Kubeadm

Kubeadm은 쿠버네티스에서 공식 제공하는 클러스터 생성/관리 도구입니다. 여러 대 서버를 쿠버네티스 클러스터로 손쉽게 구성 가능하며, 아래와 같은 구조로 로드벨런서를 두어 고가용성을 제공하는 클러스터까지 구성 가능합니다.

• 여러 대의 마스터 노드를 구성하고 그 앞에 로드밸런서를 두어 워커 노드들이 마스터 노드에 접근할 때 로드벨런서를 거쳐 접근
• 따라서 마스터 노드 1대에 장애가 발생하더라도 로드밸런서에서 다른 마스터 노드로 접근하게 하여 신뢰성 유지 가능
• 참고로, 위 그림은 쿠버네티스 클러스터의 데이터 저장소 역할을 하는 etcd 클러스터를 마스터 노드에 함께 설치하여 운영하는 'stacked etcd' 방법이라 합니다.

여기서, 마스터 노드와 워커노드란?

• 마스터 노드: 노드들의 상태를 관리하고 제어합니다. 쿠버네티스의 데이터 저장소로 사용하는 etcd를 함께 설치하거라 별도 노드에 불리해서 설치하기도 합니다. 
• 워커 노드: Kubelet이라는 프로세스가 동작하며, 마스터 노드의 명령을 받아 사용자가 선언한 pod(파드)나 Job(잡)을 실행합니다.

2) Kubespray

Kubespray는 상용 서비스에 적합한 보안성과 고가용성이 있는 쿠버네티스 클러스터를 배포하는 오픈소스 프로젝트입니다. 설정에 따라 사용자에게 맞는 클러스터를 구성할 수 있으므로 온프레미스 환경에서 상용서비스의 쿠버네티스 클러스터를 구성할 때 유용합니다. 또한 설치 이후에 ingress-nginx 컨트롤러, Helm, 볼륨 플러그인, cephfs를 프로비저닝하는 cephfs-provisioner, SSL 인증서를 관리하는 cert-manager 등의 추가 구성 요소를 클러스터에 실행하는 역할도 합니다. 이는 공식문서에서 더 자세한 내용을 참고할 수 있습니다.

Kubespray에서 제공하는 클러스터 고가용성 구조는 Kubeadm과 약간 다릅니다.

https://taco-docs.readthedocs.io/ko/latest/tacoplay/kubespray.html

Kubeadm처럼 별도의 로드벨런서를 사용하지 않고 노드 각각의 nginx가 리버스 프록시로 실행되며, 이 nginx-proxy가 전체 마스터 노드를 바라보는 구조입니다. 그래서 쿠버네티스의 컴포넌트들은 직접 마스터 노드와 통신하지 않고 자신의 서버 안의 nginx와 통신합니다. 마스터 노드의 장애 감지는 health check를 이용해 nginx가 알아서 처리합니다.

쿠버네티스는 Container Network Interface(CNI)를 만족하는 다양한 네트워크 플러그인을 지원하여, 간단한 설정으로 클러스터 네트워크를 자동 구성할 수 있습니다. 다음의 링크를 참고하시기 바랍니다.

• Kubespray가 지원하는 네트워크 플러그인: https://kubernetes.io/ko/docs/concepts/cluster-administration/addons/#%EB%84%A4%ED%8A%B8%EC%9B%8C%ED%82%B9%EA%B3%BC-%EB%84%A4%ED%8A%B8%EC%9B%8C%ED%81%AC-%ED%8F%B4%EB%A6%AC%EC%8B%9C

 

3. 쿠버네티스로 컨테이너 실행하기

이 책의 실습 기반인 쿠버네티스 커맨드라인 인터페이스 kubectl 기본 사용법과 이를 이용한 컨테이너 실행 방법을 살펴봅니다.

3.1 kubectl

쿠버네티스 클러스터를 고나리하는 동작은 대부분 kubectl이라는 CLI로 실행할 수 있으며, 지원하는 명령은 다음과 같이 구분됩니다.

• 쿠버네티스 자원들의 생성, 업데이트, 삭제(create, update, delete)
• 디버그, 모니터링, 트러블 슈팅(log, exec, cp, top, attach, ...)
• 클러스터 관리(cordon, top, drain, taint, ...)

더욱 더 자세한 kubectl 사용법은 쿠버네티스 공식문서를 참고하세요~

• https://kubernetes.io/docs/reference/kubectl/cheatsheet/

3.1.1 설치

Kubespray Kubeadm 등 마스터 노드에 kubectl이 설치되어 있으며, 마스터 노드에 직접 접근해 클러스터 관리자 권한으로 kubectl 관련 명령들을 사용할 수 있습니다. 그런데 이 방식으로는 여러 사용자의 권한을 제어할 수 없다는 문제가 있으며, 클러스터 사용자 각각은 클러스터 외부에 kubectl을 설치하고 인증 정보를 설정해야 합니다.

설치는 운영체제별 패키지 매니저(ubuntu: apt, mac: brew, window: chocholatey,...)으로 클러스터 외부의 사용자 컴퓨터에 kubectl을 설치할 수 있습니다. Apple sillicon MacOS에서는 다음과 같이 설치할 수 있습니다.

$ curl -LO "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/darwin/arm64/kubectl"
$ chmod +x ./kubectl
$ sudo mv ./kubectl /usr/local/bin/kubectl

주요 클라우드 서비스의 쿠버네티스 도구에는 클러스터 외부에 kubectl을 설치해서 사용하는 방법을 제공합니다.

• Amazon EKS: https://docs.aws.amazon.com/ko_kr/eks/latest/userguide/install-kubectl.html
• GKE: https://cloud.google.com/kubernetes-engine/docs/quickstarts/deploy-app-container-image?hl=ko
• AKS: https://learn.microsoft.com/en-us/azure/aks/learn/quick-kubernetes-deploy-cli

3.1.2 기본 사용법

kubectl은 다음 형식으로 명령을 작성합니다

kubectl [command] [Type] [NAME] [FLAG]

• command: 자원에 실행하려는 동작이며, create, get, delete 등을 사용할 수 있습니다.
• TYPE: 자원 타입이며, pod, service, ingress 등을 사용할 수 있습니다.
• NAME: 자원 이름입니다.
• FLAG: 부가적으로 설정할 옵션을 입력합니다.

간단한 minikube tutorial에서 제공하는 시간값을 리턴해주는 서버가 동작하는 이미지를 띄우는 kubectl 명령 예시입니다.

% kubectl run hello --image=registry.k8s.io/e2e-test-images/agnhost:2.39 --port=8081
pod/echoserver created

이후 파드가 정상적으로 생성되었는지 확인해보겠습니다.

% kubectl get pods             
NAME    READY   STATUS    RESTARTS   AGE
hello   1/1     Running   0          96s

• NAME: 파드의 이름을 표시
• READY: 파드의 준비 상태를 표시
  • 0/1: 현재 파드가 생성되었으나 사용할 준비가 되지 않았음
  • 1/1: 파드가 생성되었으며 사용할 준비가 끝났음
• STATUS: 파드의 현재 상태를 표시
• RESTARTS: 해당 파드가 몇번 재시작했는지 표시
• AGE: 파드를 생성한 후 시간이 얼마나 지났는지

K8s의 Pod에 접근할 떄 필요한 서비스를 생성해야 합니다.

앞서 단순히 이미지를 띄웠던 'hello' 파드의 경우 다음의 명령어로 서비스를 생성할 수 있습니다.

% kubectl expose po hello --type=LoadBalancer --port=8081
service/hello exposed

다음으로 서비스가 정상적으로 생성되었는지 확인해보겠습니다.

% kubectl get service                                    
NAME         TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
hello        LoadBalancer   10.106.2.186     localhost     8081:30129/TCP   5s
kubernetes   ClusterIP      10.96.0.1        <none>        443/TCP          28d

• NAME: 서비스의 이름을 표시
• TYPE: 서비스의 타입을 의미
• CLUSTER-IP: 현재 클러스터 안에서 사용되는 IP
• EXTERNAL-IP: 클러스터 외부에서 접속할 때 사용하는 IP
  • <none>: 별도로 설정하지 않음
• PORT(S): 해당 서비스에 접속하는 포트를 표시
• AGE: 자원을 생성하고 얼마나 시간이 지났는지 나타냄

참고로, 여기서 kubernetes라는 이름의 서비스는 kube-apiserver 관련 파드들을 가리킵니다.

이제 웹 브러우저에서 http://localhost:8080/ 로 접속하거나 curl을 이용하면 다음 메시지를 확인할 수 있습니다.

% curl http://localhost:8080
NOW: 2023-03-02 03:19:03.265168927 +0000 UTC m=+1601.533555441

이후 pod이나 service를 준지하고 싶으면 다음과 같이 입력하면 됩니다.

% kubectl delete pod hello
pod "hello" deleted
% kubectl delete service hello
service "hello" deleted

3.1.3 POSIX/GNU 스타일의 명령 작성 규칙

kubectl은 기본적으로 POSIX/GNU스타일 명령 규칙을 따릅니다.

• - 과 함께하는 옵션: 짧은 옵션으로 단일 알파벳/숫자 인자를 사용함
• - 과 함께하는 옵션: 긴 옵션으로 두 글자 이상의 알파벳/숫자 인자를 사용함
• Ref. program Argument Syntax Conventions: https://www.gnu.org/software/libc/manual/html_node/Argument-Syntax.html

3.1.4 플래그

모든 명령에서 사용할 수 있는 전역 플래그와 개별 명령에서만 사용할 수 있는 개별 플래그로 구분합니다.

전역플래그의 경우 kubectl options 에서 확인할 수 있으며, 대표적으로 -h, -v가 있습니다.

• -h(help): kubectl [command] --help 형태로 사용하며, 개별 명령의 도움말을 출력합니다.
• -v [log level]: 명령을 실행하는 과정의 로그를 출력하거나 로그 레벨을 설정하며, 디버깅할 때 유용합니다.

3.1.5 kubeconfig 환경 변수

kubectl은 기본적으로 $HOME/.kube/config 파일에서 클러스터, 인증, 컨텍스트 정보를 읽어 들입니다. 이러한 클러스터 구성 정보를 kubeconfig라 칭합니다.

클러스터에서 사용할 수 있는 자원들은 kubectl api-resources 명령으로 확인할 수 있습니다.

% kubectl api-resources
NAME                              SHORTNAMES   APIVERSION                             NAMESPACED   KIND
bindings                                       v1                                     true         Binding
componentstatuses                 cs           v1                                     false        ComponentStatus
configmaps                        cm           v1                                     true         ConfigMap
endpoints                         ep           v1                                     true         Endpoints
...

• SHORTNAMES: : 자원의 단축 이름
• APIGROUP: 함께 노출되는 자원 집합
• NAMESPACED: 특정 네임스페이스에 속하는 자원
• KIND: 객체 스키마

도커 데스크톱으로 쿠버네티스를 사용한다면 자동으로 kubeconfig가 설정됩니다. 다음 명령을 실행해 사용할 수 있습니다

% kubectl config use-context docker-desktop

물론, --kubeconfig 옵션으로 다른 설정 파일을 지정할 수도 있습니다.

kubectl -kubeconfig=AWSconfig get pods

이는 다중 크러스터에 다른 인증/클러스터 정보로 접근할 때 사용합니다.

Kubespray로 클러스터를 구성했다면 먼저 마스터 노드에 직접 접근해 ~/.kube/config 내용을 클러스터 외부의 사용자 컴퓨터 ~/.kube/config에 그대로 복사해 관리자 권한으로 kubespray 클러스터 구성을 사용할 수 있습니다.

3.1.6 자동 완성

kubectl은 bash zsh에서의 자동완성을 공식적으로 지원합니다.

% echo 'source <(kubectl completion bash)' >>~/.bashrc
% echo 'source <(kubectl completion zsh)' >>~/.zshrc

 

3.2 디플로이먼트를 이용해 컨테이너 실행하기

쿠버네티스를 이용해서 컨테이너를 실행하는 방법에는 두가지가 있습니다.

1. kubectl run 명령으로 직접 컨테이너를 실행하는 것
2. 컨테이너 설정 사항을 담은 yaml 형식의 템플릿으로 컨테이너를 실행하는 것

특히 템플릿으로 컨테이너를 관리하면 버전 관리 시스템과 연동해서 자원 정의 변동 사항을 추적하기 쉽다는 장점이 있습니다.

3.2.1 kubectl run으로 컨테이너 실행하기

deployment를 이용해 컨테이너를 실행합니다.

% kubectl create deployment hello-node --image=registry.k8s.io/e2e-test-images/agnhost:2.39 -- /agnhost netexec --http-port=8080
deployment.apps/hello-node created

다음의 명령으로 deployment의 상태를 확인합니다.

% kubectl get deployments
NAME         READY   UP-TO-DATE   AVAILABLE   AGE
hello-node   1/1     1            1           11s

다음의 명령으로 컨테이너가 제대로 실행됐는지 확인합니다.

% kubectl get pods             
NAME                         READY   STATUS    RESTARTS   AGE
hello-node-67949d9db-2h4br   1/1     Running   0          96s

다음의 명령을 사용하여 실행중인 파드 개수를 늘릴 수 있습니다. 이후 get deployments 명령으로 확인하면 파드가 2개로 증가된 것을 확인할 수 있습니다.

% kubectl scale deploy hello-node --replicas=2
deployment.apps/hello-node scaled

3.2.2 템플릿으로 컨테이너 실행하기

컨테이너 설정 사항을 담은 .yaml 파일을 만든 후 다음의 명령을 통해 파드를 실행할 수 있습니다.

% kubectl apply -f <파일이름>.yaml

3.3 클러스터 외부에서 클러스터 안 앱에 접근하기

실행된 컨테이너를 서비스로 실행시켜보도록 하겠습니다.

% kubectl expose deployment hello-node --type=LoadBalancer --port=8080
service/hello-node exposed

% kubectl get service                                    
NAME         TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
hello-node   LoadBalancer   10.110.186.126   localhost     8080:32568/TCP   20m
kubernetes   ClusterIP      10.96.0.1        <none>        443/TCP          28d

다음의 명령을 통해 좀 더 상세한 내용을 확인할 수 있습니다.

% kubectl describe service hello-node
Name:                     hello-node
Namespace:                default
Labels:                   app=hello-node
Annotations:              <none>
Selector:                 app=hello-node
Type:                     LoadBalancer
IP Family Policy:         SingleStack
IP Families:              IPv4
IP:                       10.110.186.126
IPs:                      10.110.186.126
LoadBalancer Ingress:     localhost
Port:                     <unset>  8080/TCP
TargetPort:               8080/TCP
NodePort:                 <unset>  32568/TCP
Endpoints:                10.1.0.16:8080,10.1.0.22:8080
Session Affinity:         None
External Traffic Policy:  Cluster
Events:                   <none>

이후 TargetPort에 해당하는 포트로 접속하면 컨테이너에 접근할 수 있습니다.

참고

• 정원천, 홍석용, 정경록, 공용준. 『쿠버네티스 입문: 90가지 예제로 배우는 컨테이너 관리 자동화 표준』. 옮긴이(역). 동양북스(동양books), 2020.01.
• [Github] kubernetes-book-sample: https://github.com/arisu1000/kubernetes-book-sample
• [Dockerhub] simple-container-app: https://hub.docker.com/r/arisu1000/simple-container-app
• [Official Docs] Kubespray:  https://kubespray.io/#/
• [Official Docs] Hello Minikube: https://kubernetes.io/docs/tutorials/hello-minikube/
• [POSIX/GNU] Program Argument Syntax Conventions: https://www.gnu.org/software/libc/manual/html_node/Argument-Syntax.html