[CS] 동시성와 병렬성 & 프로세스와 스레드

💡 본 문서는 '[CS] 동시성와 병렬성 & 프로세스와 스레드'에 대해 정리해놓은 글입니다.
Multi Threading을 공부하다 한번 정리하고 넘어가고자 프로세스와 스레드에 대해 정리하였으니 참고하시기 바랍니다.

1. 동시성과 병렬성

동시성과 병렬성은 한정적인 컴퓨터 자원으로 최대한의 성능을 끌어내기 위해 아주 중요한 요소입니다. 멀티 코어 CPU의 등장과 경제적 이득으로 인하여 멀티 코어 CPU의 관심도가 높아졌고, 작업들을 병렬화하고 코어들에게 효율적인 작업을 분배하는 병렬화는 중요 과제가 되었습니다.

I/O Bound, CPU Bound

동시성과 병렬성을 알아보기 전에 작업의 특징에 따른 분류를 알아야 합니다.

• I/O Bound : 입출력의 영향을 많이 받는 작업. 입출력이 완료되기까지 대기하는 시간에 의해 작업 시간이 결정되는 작업.
• CPU Bound : CPU의 처리 시간에 따라 작업시간이 결정되는 작업. 암/복호화나 복잡한 연산처리가 예이다.

병렬성 (Parallelism)

병렬성은 동시에 여러가지 작업을 수행하는 것을 의미합니다. CPU의 코어에서 명령어들을 실행하며 작업들을 수행합니다. 따라서 동시에 여러 작업들을 수행하기 위해서는 코어가 여러 개인 멀티 코어 CPU가 필수적입니다. 각각의 코어들을 할당받은 작업들을 동시에 수행하여 하나의 CPU에서 여러 개의 작업들을 수행할 수 있게 됩니다.

병렬적으로 처리할 수 있는 객체는 작업으로 제한되지 않습니다. 병렬화하되는 객체가 작업이면 작업 병렬성, 데이터를 병렬화하는 것을 데이터 병렬성이라고 합니다.

작업 병렬성은 각각의 코어에서 서로 다른 작업 A,B가 각각의 데이터를 처리합니다. 반면 데이터 병렬성은 같은 작업 A가 서로 다른 코어에서 실행되며 데이터들을 병렬적으로 처리합니다. 이처럼 무엇을 병렬화할지에 따라 작업의 실행 순서나 소요 시간도 달라게 됩니다.

동시성 (Concurrency)

동시성은 서로 독립적인 작업을 작은 단위로 나누어 번갈아가며 수행하는 것을 말합니다. 앞에서 말했듯이 하나의 코어는 하나의 연산밖에 수행하지 못합니다. 따라서 커다란 작업을 순차적으로 수행하게 되면 뒤의 모든 작업들이 대기하는 문제가 발생하게 됩니다. 따라서 모든 작업들을 작은 단위로 나누어 번갈아가며 수행하며 하나의 작업이 끝나지 않아도 다른 작업들이 수행될 수 있도록 한 것입니다.

여러개의 코어가 필요한 병렬성과는 달리 동시성은 하나의 코어에서 여러 작업을 번갈아가며 수행하기 때문에 싱글 코어 CPU에서도 사용이 가능합니다.

병렬성의 경우 작업을 동시에 수행하는 것이고 동시성은 여러 작업을 번갈아가며 수행하는 것입니다. 병럴성의 경우 독립적으로 작업을 수행할 수 있는 CPU 코어에 의존하기 때문에 하드웨어적인 의존도가 높습니다. 반면 동시성은 하나의 코어에서도 구현할 수 있기 때문에 소프트웨어적으로 작업을 어떻게 나누고 어떻게 분배해야할지에 대한 고민이 필요합니다.

2. Process와 Thread

동시성과 병렬성에서 병렬성의 경우 하드웨어 의존도가 높고, 동시성의 경우 소프트웨어 의존도가 높다고 설명했습니다. 동시성에서 작업을 어떻게 나눌지, 어떻게 분배할지에 관해 고민하던 중 탄생한 것이 스레드 입니다.

Process

프로세스는 프로그램이 실행되기 위해 운영체제로부터 CPU, Memory, I/O, 디스크와 같은 컴퓨터 자원을 할당받은 것을 의미합니다. 프로세스는 독립적인 메모리 공간을 할당받기 때문에 프로세스끼리 정보를 주고 받기 위해서는 IPC(Inter-Process Communication)라는 통신 채널이 필요합니다. 대표적인 예로는 socket, character device, shared memory가 있습니다.

Thread

스레드는 프로세스의 안에서 프로세스가 할당받은 자원을 이용하여 연산을 실행하는 최소 단위입니다. 하나의 프로세스는 최소 하나의 스레드가 존재하며, 필요에 따라서 프로세스 안에 여러개의 스레드를 만들어서 연산을 처리하기도 합니다. 스레드는 프로세스 내의 실행의 흐름, 프로세스 내의 주소공간, 메모리 자원들을 프로세스 내의 다른 스레드들과 공유하기 때문에 프로세스 내의 다른 스레드와 통신하기 위한 별도의 통신 채널이 필요 없습니다. 하지만 자원의 무결성과 동기화를 보장하기 위한 별도의 처리는 필요합니다.

Multiprocessing & Multithreading

1) Multiprocessing

멀티프로세싱은 2개 이상의 CPU를 사용하여 병렬성을 구현한 것입니다. 단순히 2개 이상의 CPU를 가지는 것이 아닌, CPU가 서로 메모리나 I/O 장치와 같은 컴퓨터 자원을 공유하는 구조, 매커니즘이어야 합니다. 멀티프로세싱을 구현하는 방식은 메모리 공유 방식, 데이터 공유 방식에 따라 여러가지로 나뉘어집니다.

SMP(Symmetric Multiprocessing)

SMP는 CPU들이 동등한 권리를 가지고 같은 물리적 메모리에 접근할 수 있어 CPU들이 대칭을 이루는 구조입니다.

ASMP(Asymmetric Multiprocessing)

ASMP는 SMP와 달리 CPU마다 다른 권리를 가질 수 있으며, 다른 물리적인 공간을 가질 수 있고 특정 프로세스는 특정 CPU에서만 동작할 수 있도록 설계할 수 있습니다. ASMP의 CPU들도 SMP처럼 공유 메모리 구조를 가지고 있지만, 프로세스마다 역할을 정하여 한 CPU에서는 OS를 전담하는 등 CPU를 비대칭적으로 사용할 수 있습니다.

2) Multithreading

멀티스레딩은 하나의 코어가 동시에 여러개의 프로세스나 스레드를 처리하도록 동시성을 구현한 것입니다. 멀티스레딩이 구현되기 위해서는 운영체제가 멀티스레딩을 지원해야하고 하드웨어도 멀티스레딩이 가능하도록 설계되어야 합니다. 멀티스레딩은 한정된 자원으로 여러가지 작업을 동시에 처리하는 개념입니다. 여러가지 프로세스나 스레드를 조금씩 스케쥴링하여 코어에서 처리하며 CPU의 성능을 끌어올리는데 의의가 있습니다.

참고

• [Blog] [CS]동시성과 병렬성: https://velog.io/@jaewan/CS%EB%8F%99%EC%8B%9C%EC%84%B1%EA%B3%BC-%EB%B3%91%EB%A0%AC%EC%84%B1
• [Blog] [CS]프로세스와 스레드: https://velog.io/@jaewan/CS%ED%94%84%EB%A1%9C%EC%84%B8%EC%8A%A4%EC%99%80-%EC%8A%A4%EB%A0%88%EB%93%9C