[Docker] 도커 컨테이너를 이루는 기술: namespace, cgroups, network

💡 본 문서는 'Docker 컨테이너를 이루는 기술: namespace, cgroups'에 대해 정리해놓은 글입니다.
Docker는 Virtual Machine(VM)처럼 OS level에서 격리(isolation)하는 것이 아닌 Process level로 격리합니다. 이러한 기술은 Docker Engine에서 이루어지며, 이는 리눅스 커널 기술인 namespace, cgroups를 기반으로 구성되었습니다.  이번 포스팅에서는 Docker의 기반 기술인 namespace, cgroups에 대해 정리하였으니 참고하시기 바랍니다.

1. Docker Engine, 컨테이너를 이루는 기술

Docker는 Virtual Machine(VM)처럼 OS level에서 격리하는 것이 아닌 프로세스 단위로 격리합니다. 이러한 기술은 Docker Engine에서 이루어지며, 이는 리눅스 커널 기술인 namespace, cgroups를 기반으로 구성되어 있습니다. 초기 버전의 도커는 LXC(linux containers)를 그대로 사용했으나, 이후 Linux 의존성을 해결하기 위해 cgroups, namespace api를 직접 실행하는 libcontainer 라이브러리를 개발하여 LXC 없이 동작할 수 있게 하였습니다.

즉, libcontainer가 이제부터 알아볼 커널 서비스인 'namespaces', 'cgroups' 등을 사용하여 시스템의 리소스를 조작할 수 있게 된 것입니다.

https://gngsn.tistory.com/129

2. 컨테이너를 이루는 기술: namespace

Docker를 사용하면서 Process나 Network 등이 어떻게 각 컨테이너마다 따로 관리되는지 궁금하지 않으셨나요? VM에서는 각 게스트 머신별로 독립적인 공간을 제공하고 서로가 충돌하지 않도록 하는 기능을 갖고 있습니다. Docker에서는 namespaces를 통해 이러한 독립된 공간을 제공합니다.

2.1 namespace isolation: 그림

namespaces은 nested process tree를 만들 수 있게 해주며, 이 말은 각 프로세스가 시스템 리소스(process IDs, hostnames, user IDs, network access, interprocess communication, filesystem 등)와 함께 고유하게 분리된 프로세스 트리를 가질 수 있음을 의미합니다. 분리된 process tree는 다른 process tree에서 확인하거나 삭제할 수 없습니다. 추가로 그림을 통해 PID namespace 격리에 대해 자세히 알아보겠습니다.

https://gngsn.tistory.com/129

• 모든 시스템은 부팅 시 PID 1 프로세스가 시작되고, 프로세스 트리 구조로 그 아래에 모든 프로세스들이 시작됩니다.
• 이때, PID namespace로 격리를 하게 되면, 하위 namespace의 프로세스가 상위 프로세스의 존재를 알 수 없게 됩니다. 물론 상위 namespace의 프로세스는 다른 프로세스인 것처럼 하위 namespace의 프로세스를 전체적으로 볼 수 있습니다.

이러한 namespace 격리가 코드를 통해 어떻게 격리되는지 확인하고, PID를 포함하여 어떤 namespaces가 지원되는지 확인해보도록 하겠습니다.

2.1 namespace isolation: 다양한 격리 기준

System call - clone() 에 정의된 flags를 지정하여 다양한 namespace를 갖는 하위 프로세스를 생성할 수 있습니다.

#define _GNU_SOURCE             /* See feature_test_macros(7) */
#include <sched.h>

int clone(int (*fn)(void *), void *child_stack,
          int flags, void *arg, ...
          /* pid_t *ptid, struct user_desc *tls, pid_t *ctid */ );

여기서 세 번째 인자로 flags를 지정할 수 있는데, 어떤 flags가 있고 어떤 의미를 가지는지 확인해보도록 하겠습니다.

pid_t pid = clone(cb, *stack, 
                CLONE_NEWPID |    // create new PID namespace
                CLONE_NEWNET |    // create new network namespace
                CLONE_NEWNS |     // create new mount namespace
                CLONE_NEWUTS |    // create new UTS namespace
                CLONE_NEWIPC |    // create new IPC namespace
                SIGCLD, 
              ...);

flags들에 지정되는 옵션은 아래와 같은 의미를 갖습니다.

네임스페이스	설명
PID namespace for process isolation	각 프로세스에 할당된 고유한 ID 인 PID 를 기준으로 다른 프로세스를 분할하여 격리. 네임스페이스가 다르면 액세스 불가.
Network namespace for managing network interfaces	네트워크 리소스(IP 주소, 포트 번호, 라우팅 테이블 등)를 네임스페이스 별로 분할하여 격리. 예를 들어 같은 포트라도 네임스페이스가 다르면 사용 가능.
UID namespace for user isolation	사용자 ID(UID)와 그룹 ID(GID)를 네임스페이스 별로 분할하여 격리. 따라서 컨테이너에서는 루트 권한을 가지고 있더라도 호스트의 관리 권한을 가질 수 없도록 격리 가능.
MOUNT namespace for managing filesystem mount points	파일 시스템 등 마운트된 디바이스를 네임스페이스 별로 분할하여 격리. 리눅스에서 디바이스를 인식하기 위해 마운트가 필요.
UTS namespace for isolating kernel and version identifiers	호스트명이나 도메인명을 네임스페이스 별로 분할하여 격리.
IPC namespace for managing access to IPC resources	프로세스 간 통신(inter process communication)에 필요한 공유 메모리(Shared Memory), 세마포어(Semaphore), 메시지 큐(Message Queue) 등을 독자적으로 사용.

• 여기서, 격리(isolation)는 다른 네임스페이스에서는 접근이 불가능하다는 것을 의미합니다.

namespace로 시스템에서 컨테이너를 분리하여 서비스를 제공할 수 있음을 알아보았습니다. 이러한 분리된 환경을 어떻게 신뢰성있게 사용하고, 분리된 자원 관리를 효율적으로 할 수 있었을지 궁금하지 않으신가요 ? cgroups을 통해 해결할 수 있습니다 ~

3. 컨테이너를 이루는 기술: cgroups(linux control groups)

리눅스에서 프로그램은 프로세스로 실행되고, 프로세스는 하나 이상의 쓰레드로 이루어져 있습니다. cgroups 는 프로세스와 쓰레드를 그룹화해서 관리하는 기술입니다.

이를 통해 각 그룹별로 사용할 수 있는 호스트 OS의 자원을 할당하거나 제한을 둘 수 있습니다. 즉 컨테이너에서 사용하는 리소스를 제한함으로써 하나의 컨테이너가 자원을 모두 사용해 다른 컨테이너가 영향을 받지 않도록 할 수 있습니다. 또한 그룹에 계층 구조를 적용할 수 있어 체계적으로 리소스를 관리할 수 있습니다.

항목	설명
cpu	CPU 사용량 제한.
cpuacct	CPU 사용량 통계 정보 제공
cpuset	CPU 나 메모리 배치 제어.
memory	메모리나 스왑(Swap) 사용량 제한.
devices	디바이스에 대한 액세스 제어.
freezer	그룹 내 프로세스 정지 및 재개.
net_cls	네트워크 제어.
blkio	블록 디바이스 입출력량 제어.

3.1 control group 관리: cgroups file system

Kernel에서 cgroup을 제어할 때, 따로 system call을 제공하지 않고 cgroupfs라고 불리는 pseudo-filesystem을 통해 제공됩니다.

파일 시스템을 통해서 제한을 한다는 게 무슨말일까요? systemd는 /sys/fs/cgroup 아래에 cgroupfs들을 마운트합니다. 그래서 mount 명령어를 사용하면 마운트되어 있는 cgroupfs들을 확인할 수 있습니다.

# mount 
...
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
...

• 위에 mount된 파일들을 확인해보면 알 수 있듯이 cgroup은 제어하는 리소스를 타입별로 mount해서 관리합니다.
  • cgroupfs 내 디렉터리는 하나의 cgroup입니다.
  • cgroup은 디렉터리 구조처럼 Tree 형태를 갖습니다.
• 이렇게 특수한 형태의 파일시스템으로 관리되어지기 때문에, cgroupfs으로 cgroup을 제어할 때는 mkdir, rmdir, echo와 같은 명령어들을 사용할 수 있습니다.
  • 예를 들어, cgroup을 생성하는 방법은 cgroupfs에 디렉터리를 생성하면 됩니다.

위를 통해서 어떻게 컨테이너를 생성하는지를 알 수 있었습니다. 그렇다면 이렇게 독립적인 컨테이너를 구성한다면 어떤식으로 해당 컨테이너에 접근하는 것일까요?

4. 컨테이너를 이루는 기술: Docker Network (feat. 호스트-컨테이너 간 통신)

먼저 리눅스에서는 NIC(Network Interface Controller)와 같은 네트워크 랜카드가 추가되면 /dev/eth0, /dev/eth1 처럼 인식합니다. 여기서 eth0 은 기본 네트워크 장치라고 볼 수 있으며, 이를 인지하고 컨테이너와의 통신을 이해한다면 더욱 빠르게 접근하실 수 있을 겁니다. 아래 그림과 함께 컨테이너의 네트워크 구성을 살펴보겠습니다. 

https://www.kaitoy.xyz/2015/07/25/how-to-capture-packets-on-a-local-network-with-pcap4j-container/

도커 컨테이너가 실행되면 컨테이너에 172.17.0.0/16 이란 프라이빗 IP 주소가 eth0 으로 자동 할당됩니다. 이를 docker0라 하며, 이는 각 컨테이너 네트워크를 연결해주는 네트워크 브리지(network bridge) 역할을 합니다. 여기서 각 컨테이너의 eth0 에 docker0가 만든 가상 NIC인 veth를 할당하여, 외부 요청이 들어오면 컨테이너로 라우팅합니다.

http://snowdeer.github.io/common-sense/2018/02/02/understanding-about-nat/

컨테이너가 외부 네트워크와 통신할 때는 NAPT(Network Address Port Translation)라는 기술을 사용합니다. 퍼블릭 IP 주소와 프라이빗 IP 주소를 일대일로 변환하는 NAT(Network Address Translation)와 달리 NAPT 는 포트 정보까지 활용하기 때문에 하나의 퍼블릭 IP 주소로 여러 대의 머신을 동시에 연결할 수 있습니다.

마무리

이렇게 '도커 컨테이너를 이루는 기술'에 대해 알아보았는데, 이해가 되시나요? 사실 이 기술들은 어떻게 프로세스 단에서 격리를 하고 격리한 프로세스에 어떻게 접근하는지만 초점을 두고 설명하였기에 놓친 내용들이 많습니다. 이는 '도커 컨테이너'를 이루는 기술에 초점을 맞추었기 때문입니다. 추가로 도커 자체에 관심이 있다면 '파일 시스템', '스토리지' 등 다양한 부분에서 재밌는 기술이 많으니 참고하시기 바랍니다.

여기서 끝나면... 이상적인 마무리겠지만 한마디만 첨언하자면. 사실 위에서 설명한 namespace, cgroup을 통해 어떻게 컨테이너를 관리하는지는 컨테이너 기술을 사용하는 데 있어서 그리 중요하지 않습니다. 다만 '컨테이너 기술은 이렇게 namespace, cgroup 를 통해 독립적으로 격리될 수 있다'는 사실만 알고 있으면 됩니다. 또한 이 기술을 통해 VM에 비해서 higher level에서 isolation을 하였으며, 그래서 컨테이너 기술을 사용하고 있다는 점도 유념해주시면 좋을 것 같습니다!!

참고

• [Blog] Docker의 컨셉, 내부 구조, 활용 세미나 정리: https://gayuna.github.io/docker/docker/
• [Blog] 도커 정리: https://rokrokss.com/post/2019/10/17/%EB%8F%84%EC%BB%A4-Docker-%EC%A0%95%EB%A6%AC.html