[Docker] docker 내부 nvidia gpu 사용하기(feat. nvidia-docker, NVIDIA Container Toolkit)

💡 본 문서는 '[Docker] docker 내부 nvidia gpu 사용하기(feat. nvidia-docker, NVIDIA Container Toolkit)'에 대해 정리해놓은 글입니다.
~~~정리하였으니 참고하시기 바랍니다.

1. 

1) Installing the NVIDIA Container Toolkit

Installing with Apt

Configure the production repository:Optionally, configure the repository to use experimental packages:

$ sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list

$ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

Update the packages list from the repository:

$ sudo apt-get update

Install the NVIDIA Container Toolkit packages:

$ sudo apt-get install -y nvidia-container-toolkit

apt 외의 yum, Dnf, Zypper 등으로 설치하고 싶은 경우 Installing the NVIDIA Container Toolkit를 참고하시기 바랍니다.

Configuration Prerequisites

• You installed a supported container engine (Docker, Containerd, CRI-O, Podman).
• You installed the NVIDIA Container Toolkit.

Configuring Docker

Configure the container runtime by using the nvidia-ctk command:The nvidia-ctk command modifies the /etc/docker/daemon.json file on the host. The file is updated so that Docker can use the NVIDIA Container Runtime.

$ sudo nvidia-ctk runtime configure --runtime=docker

Restart the Docker daemon:

$ sudo systemctl restart docker

container engine 으로 docker 외의 containerd를 사용하는 경우 Installing the NVIDIA Container Toolkit를 참고하시기 바랍니다.

2) Installing the nvidia-docker

Installing with Apt

distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
   && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \
   && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

gpgkey 입력 및 stable 저장소 추가 후 

# apt-get update
# apt-get install nvidia-docker2 -y
# systemctl restart docker

위와 같이 repository update 및 nvidia-docker2 를 설치 후 docker restart 후 간단하게 설치가 완료 됬습니다.

2. nvidia-docker GPU 할당하여 사용 하는 방법 3가지

1) NV_GPU

$ NV_GPU=0,1 nvidia-docker run -it nvcr.io/nvidia/tensorflow:20.12-tf1-py3

GPU 중에 2개만 할당하기 위해서는 NV_GPU=0,1 의 옵션을 사용하여 nvcr.io/nvidia/tensorflow:20.12-tf1-py3 이미지를 사용하여 container에 진입하여 확인 하였습니다.

 

그렇다면 다른 옵션은 없을까요? 다른 방법으로도 GPU를 할당하여 사용하는 방법을 알려드릴께요.

2) NVIDIA_VISIBLE_DEVICES

$ docker run -it --runtime=nvidia -e NVIDIA_VISIBLE_DEVICES=0,1 nvcr.io/nvidia/tensorflow:20.12-tf1-py3

runtime=nvidia를 사용하여 -e 환경변수로 NVIDIA_VISIBLE_DEVICES=2,3 GPU ID 혹은 UUID등으로 설정하여 GPU를 할당 하실 수 있습니다.

기존 NV_GPU와는 다르게 nvidia-docker로 시작하는 커맨드가 아닌 docker로 시작하는 command이니 잘 기억해 두시기 바랍니다.

또한 비교가 되기 위해서 NV_GPU 와는 다른 GPU를 사용하였는데요. 위 NV_GPU 사진에서 Bus-Id와 현재 NVIDIA_VISIBLE_DEVICES를 비교해 보시면 각각 다른 GPU를 사용한걸 아실 수 있습니다.

3) --gpus

$ docker run -it --gpus '"device=0,1,2,3"' nvcr.io/nvidia/tensorflow:20.12-tf1-py3

다음으로는 gpus 옵션을 사용하는 것입니다.

gpus옵션을 사용하기 위해서는 위와 같이 docker run으로 시작하는데요. --gpus 뒤에 '"device="' 옵션에서는 큰 따옴표와 작은 따옴표가 반드시 필요합니다.

마지막으로  GPU를 한번에 다 사용하기 위해서는 --gpus all 이라는 옵션을 간단하게 사용하면 아래와 같이 모든 GPU를 할당하여 컨테이너로 진입하게 됩니다.

$ docker run -it --gpus all nvcr.io/nvidia/tensorflow:20.12-tf1-py3

NV_GPU ? NVIDIA_VISIBLE_DEVICES? gpus?

이제 nvidia gpu 할당을 잘 하실수 있으실텐데요. NV_GPU와 NVIDIA_VISIBLE_DEVICES 및 gpus 차이점은 어떤 차이가 있는지 궁금하신 분들이 있으실텐데요.nvidia-docker2가 설치가 되어 있는 상태에서는 어떠한 command로도 사용가능합니다.

다만 차이점은 아래와 같습니다.

• NV_GPU = nvidia-docker
• NVIDIA_VISIBLE_DEVICES = nvidia-docker2
• gpus '"device="' = nvidia-docker2

nvidia-docker 버전의 차이기 때문에 상위버전은 하위호환되기 때문에 편하신 커맨드를 이용하셔서 docker를 사용하시면 될 것 같습니다.

참고

• [NVIDIA] Installing the NVIDIA Container Toolkit: https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html
• [Blog] nvidia-docker GPU 할당하여 사용 하는 방법 3가지: https://kyumdoctor.co.kr/18