[Network] 프로세스 간 통신 방법: IPC(Inter Process Communication)

💡 본 문서는 '프로세스 간 통신 방법: IPC(Inter Process Communication)'에 대해 정리해놓은 글입니다.
프로세스들은 기본적으로 상호독립적입니다. 메모리를 공유하지 않기 때문에 각자 자신의 일만 하며 서로 간섭을 하지 않아요. 하지만 필요에 따라 프로세스간 정보를 교환해야하는 경우가 있겠죠? 이때 별도 수단을이용하여 프로세스 통신하는 방법론을 통칭하여 IPC(Inter Process Communication) 라고 합니다. 이러한 프로세스 간 통신(IPC)를 적용하기 위해 찾아보던 중 다양한 방법을 접하였고 이를 정리하였으니 참고하시기 바랍니다.

1. 프로세스간 통신(inter-process communication, ipc)

리눅스 커널 구조 (출처 :  https://jwprogramming.tistory.com/54)

1.1 프로세스 간 통신이란?

프로세스 사이에 서로 데이터를 주고받는 행위 또는 그에 대한 방법이나 경로를 IPC라고 합니다. 프로세스가 통신 가능하다는 것은 서로 다른 프로세스가 데이터를 주고 받을 수 있다는 것이며, 동시에 접근 가능한 메모리 즉, 프로세스들이 공유하는 메모리가 필요하다는 뜻입니다. 프로세스는 커널이 제공하는 IPC를 이용해서 프로세스간 통신을 할 수 있게 된다.

따라서 IPC는 컴퓨터 내부에서 보다 효율적으로 정보를 주고 받기 위한 통신의 일종이라고 생각하면 되고, 인터넷 통신을 IPC의 확장으로 이해할 수 있습니다(프로세스간 통신이 서버-클라이언트 간 통신과 유사하기 때문).

1.2 프로세스간 통신을 해야하는 경우

1.2.1 특정 데이터를 공유하는 경우

프로세스와 스레드의 차이를 알고 있다면 이해하기 쉽습니다. fork()로 프로세스를, pthread_create()로 쓰레드를 생성해주는데 이 과정에서 큰 차이가 존재합니다. 프로세스는 생성되면서 PC를 포함하여 메모리 공간 등을 복사하여 별도의 자원을 할당하지만, 스레드는 메모리 공간과 자원을 공유하기 때문입니다. 따라서 프로세스는 IPC를 통해 통신을 위한 별도의 공간을 만들어주어야 합니다.

1.2.2 중요 프로세스의 안정성을 위해

하나의 프로세스에서 공유자원을 동기화한 후 여러 스레드가 사용하면 데이터 공유를 상대적으로 쉽게 할 수 있습니다. 그러나 하나의 프로세스가 죽어버리면 같은 프로세스의 모든 스레드가 죽어버려 위험한 상황이 올 수도 있습니다.

예를 들어 api를 제공하는 작업과 데이터를 분석/적재하는 작업을 하나의 프로세스에서 하는 경우, 데이터 분석 과정에 exception이 발생해 프로그램이 내려간다면 클라이언트에게 api가 나가지 못하는 상황이 발생할 수 있습니다.

1.2.3 싱글코어만 쓰는 언어에서의 cpu사용율을 높여 성능 최적화가 필요한 경우

싱글 코어만 사용하는 파이썬도 스레드가 존재합니다. 그러나 job(스레드)이 많이 생성하더라도 운영체제가 하나의 코어를 사용하다보니 최적의 성능을 뽑아내기 힘듭니다. job이 많이 생성되야 하는경우 프로세스를 나눠 처리하는 방식이 효율적일 수 있습니다.

1.3 프로세스 간 데이터를 동기화

이러한 IPC 통신에서 프로세스 간 데이터를 동기화하고 보호하기 위해 세마포어와 뮤텍스를 사용하며, 이는 공유된 자원에 한번에 하나의 프로세스만 접근시키기 위해 사용한다.

세마포어(Semaphore)

• 위의 다른 IPC 설비들이 대부분 프로세스간 메시지 전송을 목적으로 하는 것에 반해, 세마포어는 프로세스간 데이터를 동기화하고 보호하는데 목적을 둔다.
• 공유된 자원에 여러개의 프로세스가 동시에 접근하면 안되며, 한번에 하나의 프로세스만 접근 가능하도록 할 때 사용된다.

2. 프로세스 통신의 종류

프로세스간 통신의 방법에는 크게 운영체제영역에서 지원하는 방식과 소켓(네트워크)을 사용하는 방식이 있습니다.

2.1 운영체제에서 지원하는 방식

• 공유 메모리(shared memory)
• 메모리 맵(Memory Map)
• 메세지 패싱 (Message Passing): 파이프(pipe)
• 커널 메시지큐(kernel messageq)
• 파일(file)...

2.2 네트워크를 사용하는 방식

• 소켓(tcp, udp 등), Http 등
• 네트워크 메시지큐(kafka, rabbitMQ 등)
• RPC(Remote Procedure Call)
• DBMS, 캐시(redis)...

3. 프로세스 통신의 종류별 상세

3.1 공유 메모리 (Shared Memory)

• 공유 메모리가 데이터 자체를 공유하도록 지원하는 설비. 프로세스간 메모리 영역을 공유해서 사용할 수 있도록 허용한다.
• 프로세스가 공유 메모리 할당을 커널에 요청하면 커널은 해당 프로세스에 메모리 공간을 할당한다. 이후 어떤 프로세스건 해당 메모리 영역에 접근할 수 있다.
  • 공유 메모리가 각 프로세스에게 첨부(attach)하는 방식으로 작동하게 된다.
  • = 각 프로세스가 메모리 영역에 첨부됨
• 프로세스간 Read, Write를 모두 필요로 할때 사용한다.
• 대량의 정보를 다수의 프로세스에게 배포 가능하다.
• 중개자 없이 곧바로 메모리에 접근할 수 있기 때문에 모든 IPC 중에서 가장 빠르게 작동할 수 있다.

3.2 메모리 맵(Memory Map)

메모리 맵(출처 :  https://doitnow-man.tistory.com/110)

• 공유 메모리처럼 메모리를 공유해준다.
• 메모리 맵은 열린 파일을 메모리에 맵핑시켜서 공유하는 방식이다. (즉 공유 매개체가 파일+메모리)
• 주로 파일로 대용량 데이터를 공유해야 할 때 사용한다.
• FILE IO 가 느릴 때 사용하면 좋다.
• 대부분 운영 체제에서는 프로세스를 실행할 때 실행 파일의 각 세그먼트를 메모리에 사상하기 위해 메모리 맵 파일을 이용한다.
• 메모리 맵 파일은 파일의 크기를 바꿀 수는 없으며 메모리 맵 파일을 사용하기 이전, 또는 이후에만 파일의 크기를 바꿀 수 있다.

3.3 메세지 패싱 (Message Passing): 파이프(pipe)

통신을 위한 메모리 공간(버퍼)을 생성하여 프로세스가 데이터를 주고 받게끔 한다.

3.3.1 익명 파이프 (Anonymous PIPE)

• 통신할 프로세스가 명확하게 알 수 있는 경우 사용.
  • 부모-자식 or 형제 프로세스 간 단통신에 사용
  • 외부 프로세스에서 사용할 수 없다.
• 파이프는 두 개의 프로세스를 연결하고, 하나의 프로세스는 데이터를 쓰기만, 다른 하나는 데이터를 읽기만 할 수 있다. 한쪽 방향으로만 통신이 가능한 파이프의 특징때문에 반이중(Half-Duplex) 통신이라고 부르기도 한다.
• 송/수신을 모두 하기 원한다면 두 개의 파이프를 만들어야 가능
• 간단하게 사용할 수 있다.
• pipe 함수로 생성
• 단점
  • 반이중 통신 → 프로세스가 읽기와 쓰기 통신을 모두 해야한다면, PIPE 두 개를 만들어야 하므로 구현이 복잡해질 수 있다.
  • 전이중 통신을 고려해야될 상황이라면 낭비가 심하기 때문에 좋은 선택이 아니다.

3.3.2 네임드 파이프 (Named PIPE)

• 전혀 모르는 상태의 프로세스들 사이의 양통신에 사용
• 익명 파이프의 확장된 상태로 부모 프로세스와 무관한 다른 프로세스도 통신 가능
  
  • 프로세스 통신을 위해 이름이 있는 파일을 사용하기 때문에 가능하다.
  • FIFO 라 불리는 특수 파일을 이용해 서로 관련 없는 프로세스 간 통신에 사용한다.
  • = 외부 프로세스와 통신 가능
• mkfifo or mknod 함수로 생성
• 단점
  • 반이중 통신 → 전이중 통신을 위해서는 익명 파이프처럼 2개를 만들어야 가능하다.

3.4 소켓 (Socket)

 

• Unix 도메인 소켓 또는 IPC 소켓은 동일한 호스트 운영 체제에서 실행되는 프로세스간 데이터를 교환하기 위한 데이터 통신 엔드 포인트이다.
• 네트워크 소켓 통신을 통해 데이터를 공유한다.
  • 데이터 교환을 위해 양쪽 PC에서 각각 임의의 포트를 정하고 해당 포트 간의 대화를 통해 데이터를 주고받는 방식이다.
  • 이 때 각각 PC의 PORT를 담당하는 소켓은 각각 하나의 프로세스이다.
  • 즉 해당 프로세스는 임의의 PORT를 맡아 데이터를 송수신 하는 역할을 진행하는 프로세스인 것 입니다.
  • 각각의 PC에서 프로세스를 통해 타 PC PORT에 연결하라는 명령을 보내게 되면 두 프로세스는 서로 확인과정을 거쳐 연결을 진행하고 연결 후 마치 PIPE와 같이 1 대 1로 데이터를 주고받는 방식이다.
• 클라이언트와 서버가 소켓을 통해서 통신하는 구조로, 원격에서 프로세스 간 데이터를 공유할 때 사용한다.
• 전이중(Full Duplex, 양방향) 통신이 가능하다.
• 서버(bind, listen, accept), 클라이언트(connect) 환경을 구축하는데 용이.
• 소켓통신은 0과1을 이용해 통신하므로 직렬화 역 직렬화를 해줘야 합니다.
• 중대형 애플리케이션에서 주로 사용한다.
• 참고: 소켓을 이용하여 프로그래밍 하는 방법 [Network] Socket 소켓 프로그래밍 (feat. sockaddr_in, IPv4...)

3.5 메시지 큐(Message Queue)

 

• 입출력 방식은 Named 파이프와 동일하다.
• 주로 MSA같은 환경에서 http api요청은 여러 프로세스간의 통신과정중 블락될 필요가 없는곳에서 블락되거나, IO가 오래걸리는 서버가 있다면 병목에 걸려 성능저하가 발생하는 경우 사용합니다.
• 다른점은
  • 메시지 큐는 파이프처럼 데이터의 흐름이 아니라 메모리 공간이다. (메모리를 사용한 PIPE)
  • PIPE나 FIFO와는 달리, 다수의 프로세스간 메시지를 전달 할 수 있음
• 사용할 데이터에 번호를 붙이면서 여러 프로세스가 동시에 데이터를 쉽게 다룰 수 있다.
• 메시지의 접근을 위해서는 키(key)가 필요하다.
• e.g. kafka, rabbitMQ 등의 네트워크 메시지큐

3.6 RPC(Remote Procedure Call)

RPC 방법은 분산 네트워크 망에서 많이 사용되는 방식이다. 별도의 원격 제어를 위한 코딩 없이 다른 주소 공간에서 함수나 프로시저를 실행할 수 있게하는 프로세스 간 통신 기술이다. 다시 말해, 원격 프로시저 호출을 이용하면 프로그래머는 함수가 실행 프로그램에 로컬 위치에 있든 원격 위치에 있든 동일한 코드를 이용할 수 있다. 해당 방법은 분리된 PC에 저장된 데이터를 마치 내 PC에 존재하는 것처럼 데이터를 가져와 사용하는 통신방법이다. 스텁(stub)을 통해서 마치 자신의 디스크에 존재하는 것 처럼 착각을 일으켜 사용하는 방식이다.

• 스텁 : 리눅스에서 공유 라이브러리의 일부분 중 하나
• 프로시저 : 루틴, 서브루틴, 함수와 같은 뜻으로 사용되며 하나의 프로시저는 특정 작업을 수행하기 위한 프로그램의 일부이다. 또는 어떤 행동을 수행하기 위한 일련의 작업 순서를 말한다.

이를 범용적으로 사용하기 위하여 라이브러리화한 대표적인 프로젝트는 gRPC, json-rpc로, gRPC에 대한 자세한 설명은 하단의 링크를 참고하시기 바랍니다. 

• [OpenSource 사용하기] gRPC: C++ RPC library (feat. RPC): https://csj000714.tistory.com/725

정리

IPC 종류	PIPE	Named PIPE	Mesage Queue	Shared Memory	Memory Map	Socket
사용 시기	부모 자식 간 단방향 통신 시	다른 프로세스와  단방향 통신 시	다른 프로세스와  단방향 통신 시	다른 프로세스와 양방향 통신 시	다른 프로세스와  양방향 통신 시	다른 시스템간  양방향 통신 시
공유 매개체	파일	파일	메모리	메모리	파일+메모리	소켓
통신 단위	Stream	Stream	구조체	구조체	페이지	Stream
통신  방향	단 방향	당 방향	단 방향	양 방향	양 방향	양 방향
통신  가능  범위	동일 시스템	동일 시스템	동일 시스템	동일 시스템	동일 시스템	동일 + 외부  시스템

마무리

커널의 IPC 기술을 직접 사용하는 경우는 클라이언트 개발(안드로이드 앱, 데스크탑 앱)이나 파이썬의 성능최적화가 필요한 경우 사용됩니다.

그 외에는 대부분의 개발자들이 러닝커브없이 개발할 수 있는 DBMS를 사용하는것이 좋으며 (하나의 서버에서 공유하는 경우에도 sqlite나 h2를 사용하여 공유하는 것이 좋습니다.(filedb는 insert update 등의 transaction시 lock이 걸리니 주의합니다) 실시간 데이터가 중요한경우 소켓으로 커넥션을 잡고 가는것도 올바른 방법입니다.

참고

• [Blog] 프로세스간 통신(IPC): https://frozenpond.tistory.com/126
• [Blog] 프로세스 간 통신 방법(Inter Process Communication, IPC): https://dar0m.tistory.com/233