[NoSQL] Apache Cassandra 정리: NoSQL Column-Family DB

💡 본 문서는 대표적인 NoSQL 중 하나인 'Apache Cassandra(이하 Cassandra)'에 대한 개념을 간단하게 정리해놓은 글입니다.
평소에 NoSQL에 관심이 있거나 Cassandra를 입문하고 싶으신 분들을 참고 부탁드립니다.

1. Cassandra 소개

1.1 Cassandra 개요

 Cassandra는 NoSQL DBMS의 하나로, 단일 장애 없이 고성능을 제공하면서 수많은 서버 간의 대용량의 데이터를 관리하기 위해 설계되었습니다. 여러 데이터센터에 걸쳐 클러스터를 지원하며 마스터리스(masterless) 비동기 레플리케이션을 통해 모든 클라이언트에 대한 낮은 레이턴시 운영을 허용하며 성능 면에서 높은 가치를 보입니다. 

처음에 Staged event-driven architecture(SEDA)를 기반으로 Facebook에서 설계하였으며,  Amazon의 Dynamo 분산 스토리지 및 복제 기술과 Google의 Bigtable 데이터 및 스토리지 엔진 모델이 결합된 모델입니다.

• Amazon Dynamo: https://www.allthingsdistributed.com/2007/10/amazons_dynamo.html
• Google Bigtable: https://static.googleusercontent.com/media/research.google.com/en//archive/bigtable-osdi06.pdf

추가로, DB-Engines Ranking 기준으로 현존하는 NoSQL 데이터베이스 중 인지도 4위, 전체 DB 인지도 11위를 유지하고 있습니다. 

1.2 Cassandra 특징: NoSQL (Wide column store)

Name	CassandraDB
Description	Wide-column store based on ideas of BigTable and DynamoDB
Primary database model	Wide column store
Technical documentation	cassandra.apache.org/­doc/­latest
Developer	Apache Software Foundation
Initial release	2008
Current release	4.0.7, October 2022
License	Open Source (Lisence: Apache v2.0) Pricing for commercial distributions provided by DataStax and available upon request.
Cloud-based only	no
DBaaS offerings (sponsored links)	Aiven for Apache Cassandra: Fully managed, open source NoSQL database specifically designed to be highly available, performant, and scalable. Astra DB: Multi-cloud DBaaS built on Apache Cassandra.
Data scheme	schema-free
Typing	yes (https://cassandra.apache.org/doc/latest/cassandra/cql/types.html)
SQL	SQL-like SELECT, DML and DDL statements (CQL, Cassandra Query Language)
Replication methods	selectable replication factor
3rd parties	Elassandra: Elassandra closely integrates Elasticsearch in Cassandra. CData: Connect to Big Data & NoSQL through standard Drivers. » more Instaclustr: Hosted & Managed Apache Cassandra as a Service » more DataStax Cassandra: Cassandra Day + Wakanda Forever » more Aiven for Apache Cassandra: A truly distributed database that can handle large volumes of writes. » more
Typical application scenarios	Internet of Things (IOT), fraud detection applications, recommendation engines, product catalogs and playlists and messaging applications.

• 더욱 자세한 내용은 DB-Engines Ranking: Cassandra 부분을 참고해주시기 바랍니다.

2. Cassandra 구조

2.1 Cassandra 저장 구조

Cassandra는 Wide-Column(Column Family) 데이터 모델로 Schema-less 한 Column 데이터 모델입니다.

위와 같이 카산드라의 데이터 구조는 비교적 간단합니다. 최상위에 논리적 데이터(Data) 저장소인 키 스페이스(Key space)가 있고, 키 스페이스 아래에는 테이블(Table)이 존재합니다. Table은 다수의 로우들로 구성되어있으며 각 로우는 키 값(Key Value)으로 이루어진 칼럼들로 구성된다. RDB 형태와 유사한 구조를 하고 있다는 걸 알 수 있습니다.

Table의 구조를 간단히 표현하면?

Map<RowKey, SortedMap<ColumnKey, ColumnValue>>

2.2 Cassandra 저장 구조 (RDB와 비교)

기존의 RDB와는 유사한 저장 구조를 가짐

RDB	Database	Table	Row	Column	schema
Cassandra	Keyspace	Table	Row	Column Name, Value

• Keyspace : 데이터셋이 데이터센터에 어떻게 복제될 것인지 지정할 수 있으며, 복제 개수만큼 클러스터에 복제되어 저장됩니다. 키스페이스는 테이블을 포함하는 개념입니다.
• Table : 파티션별 콜랙션에 대한 스키마를 지정합니다. 테이블은 파티션을 가지고 있으며 로우와 컬럼을 포함하고 있습니다. 카산드라 테이블은 새로운 컬럼을 다운타임 없이 추가할 수 있습니다.
• Partition : 카산드라에 저장되는 로우의 노드를 식별하기 위한 키가 파티션입니다. 즉 기본키를 의미하며, 파티션 키를 어떻게 설정하느냐에 따라 성능이 달라집니다.
• Row : 파티션 키와 선택적으로 클러스터링 키를 구성하는 데이터입니다. 여러 컬럼을 포함하는 개념입니다. 
• Column : 해당 컬렉션(테이블)에서 로우에 속한 단일 데이터(열)를 말합니다.

2.3 Cassandra  아키텍쳐 특징

카산드라는 기본적으로 링(Ring) 구조를 띠고 있으며, 링을 구성하는 각 노드에 데이터(Data)를 분산하여 저장합니다. 이때 파티션 키라고 불리는 데이터의 해시(hash) 값을 기준으로 데이터를 분산하게 되며, 각 노드는 카산드라의 conf/cassandra.yaml에 정의된 설정을 통하여 노드마다 고유의 해시 값 범위에 따라 분산됩니다.

2.4 Cassandra 운영 방법

아파치 카산드라 기본 구성 설정은 cassandra.yaml 파일을 통해 진행하며 수동 또는 관련 도구를 사용하여 수정할 수 있습니다. 일부 설정은 다운타임 없이 수행할 수 있지만 일부 옵션은 카산드라를 완전히 종료해야 합니다.

카산드라는 클러스터를 관리하기  위한 도구인 nodetool, fqltool과 같은 도구를 지원합니다. 또한 카산드라는 카산드라 데이터의 시점 스냅샷을 제공하는 아토믹 스냅샷을 지원하며 백업 도구와 쉽게 통합할 수 있습니다. 카산드라는 데이터가 기록되는 대로 백업할 수 있는 증분 백업(incremental backup)도 제공합니다.

추가적으로 아파치 카산드라 4.0부터는 자바 11 지원, 가상 테이블, audit 로깅 등을 추가로 지원하게 되었습니다.

3. Cassandra 주요 기능 및 장단점

3.1 Cassandra 주요 기능 및 장점

3.1.1 Masterless

Mater-Slave

• 전통적인 데이터베이스의 대부분은 마스터-슬레이브라고 하는 기능을 갖추고 있음
• 이러한 구성에서는 단일 노드가 마스터로 지정되어 읽기 및 쓰기 작업을 수행할 수 있고 나머지 노드는 슬레이브 역할을 하며 읽기 작업만 수행할 수 있음
• 마스터-슬레이브 단점
  
  • 응용 프로그램을 확장해야 할 경우 비용이 크게 상승할 수 있음
  • 가용성마저 저하될 수 있음
    • 마스터 노드에 장애가 발생하면 관리자가 새 마스터를 지정할 때까지 데이터베이스 작업이 중지될 수 있음
    • 지연으로 인한 문제가 생길 수 있음

Masterless

• 마스터리스 아키텍처로 구축된 Apache Cassandra는 위와 같은 단점이 없음
• 데이터 복제를 담당하는 단일 노드가 없고 모든 노드가 동일함
• 링 또는 데이터베이스 클러스터에 참여하는 모든 노드에 자동으로 데이터 분산
  • 데이터는 모든 노드에서 투명하게 분할되므로 개발자나 관리자가 클러스터 전체에 데이터를 배포하기 위해 프로그래밍하지 않아도 됨
• 대신 모든 노드가 읽기 및 쓰기 작업을 수행
• 성능이 향상되고 데이터베이스에 복원력이 추가됨

3.1.2 확장성 및 고성능

기존 환경에서 응용 프로그램의 확장은 대개 시간이 많이 걸리고 비용이 많이 드는 프로세스이며 일반적으로 다음과 같은 확장을 통해 수행됩니다.

• 수직 확장: 단순히 기존 머신에 더 많은 메모리와 하드웨어 용량을 추가해서 확장성을 얻음.
• 수평 확장: 데이터 전체나 일부를 갖는 머신을 추가해서 요청 처리를 여러 머신이 나눠 갖는 방법.
• 그러나 이렇게 하려면 클러스터에 있는 다른 노드와 데이터를 동기화하고 유지하는 내부 메커니즘이 필요함.

반면 Cassandra는 노드를 추가하기만 하면,클러스터의 중단 없이 새로 추가된 노드에 작업을 할당(로드 밸런싱)하여 용량을 선형으로 늘릴 수 있습니다(물론, 규모를 축소할 때도 마찬가지). 예를 들어, 2개의 노드가 초당 100,000개의 트랜잭션을 처리할 수 있는 경우 8개의 노드로 구성하면 초당 400,000개의 트랜잭션을 처리할 수 ​​있습니다.

3.1.3 고 가용성 및 내 결함성

모든 Cassandra 노드는 읽기 및 쓰기 작업을 수행할 수 있으므로 클러스터 및 노드에 장애가 발생하면 가장 가까운 정상 노드로 자동 라우팅 됩니다. 또한 클러스터에서 시스템을 중단하지 않고 장애가 발생한 노드를 교체할 수 있고, 다중 데이터 센터에 데이터를 복제해 로컬 성능을 개선할 수 있으며, 한 데이터 센터가 화재나 홍수 같은 치명적인 재앙을 당하더라도 다중 데이터 센터에 데이터를 복제해서 서비스 중단을 예방할 수 있습니다.

3.1.4 CQL(Cassandra Query Language)

카산드라는 CQL(Cassandra Query Language)를 지원합니다. SQL과 유사하게 생긴 언어로서 카산드라에 접근하여 데이터를 쓰거나 읽을 때 사용됩니다. CQL은 수많은 기능들을 제공하는데 다음과 같은 핵심 기능이 있습니다.

• 단일 파티션 기준으로 atomic compare과 set semantic 트랜젝션을 지원합니다.
• 사용자 정의 타입과 함수, 집계를 지원합니다.
• 로컬 세컨더리 인덱스를 지원합니다.
• 구체화된 뷰를 지원합니다.

3.2 Cassandra 단점

3.2.1 높은 진입장벽

• 칼럼형 데이터베이스로 로우형 데이터베이스인 RDB와는 다른 생소한 개념이라 진입장벽이 높습니다.

3.2.2 데이터 입력 시 자동화 처리가 어려움

• 데이터를 입력 시에도 자동화한 처리가 어렵습니다.
• 데이터에 대한 락을 사용하려면 Zookeeper와 같은 전체 분산 서버를 관리하는 프로그램을 추가해서 별도로 설정해야 합니다. 
• Transaction을 지원하지 않아 데이터에 대한 동시 갱신 요청이 발생할 가능성이 높거나 자동화한 트랜잭션이 필요한 서비스에서는 다른 데이터베이스를 고려해야 합니다.

3.2.3 복잡한 조건의 검색 불가

• 많은 사용자를 대상으로 대량 데이터를 다루는 서비스가 아닐 경우 쓸 필요는 없습니다.
• 그리고 Join과 같은 복잡한 조건의 검색이 불가능하며 로우 키와 칼럼 두 가지에 대한 인덱스만 가능하기 때문에 데이터는 대량이지만 검색 조건은 단순한 서비스에 적합합니다.
• 슈퍼 칼럼 구성(Super Column family)의 하위 칼럼에 대한 인덱싱은 불가능합니다.
• 키 값을 통한 범위 검색은 데이터 분산 방식을 오더프레스파티셔너(OrderPresservingPartitioner)로 설정하여 키 값을 통해 데이터를 서버에 분배했을 경우에만 가능합니다.

3.2.4 여러 파티션에 걸친 작업을 지원하지 않음

카산드라는 속도가 느리고 가용성이 높은 글로벌 시멘틱을 지원하지 않습니다. 즉, 여러 파티션에 걸친 다음과 같은 작업들은 지원하지 않습니다.

• 파티션 간 트랜잭션
• 분산 조인
• 외부 키 또는 참조 무결성

이 외에도 RDBMS와 같은 Paging을 구현하는 것이 힘들고 Keyspace나 Table 등을 과도하게 생성할 경우 Memory Overflow가 발생할 수 있다는 단점이 있습니다.

4. RDB vs Cassandra

	RDBMS	Cassandra
수신 데이터 처리	적당한 수신 데이터 속도 처리	높은 수신 데이터 속도 처리
트랜잭션	복잡하고 중첩된 쿼리 지원	간단한 쿼리 지원
장애 조치	장애 조치를 통한 단일 장애 지점 발생	단일 실패 지점이 없고 지속적인 가동 시간(Failover)
데이터 사이즈	중간 규모의 데이터 볼륨 지원	매우 높은 데이터 볼륨 지원
중앙집중 / 분산	중앙 집중식	분산 배치: 여러 위치에서 작성된 데이터
확장성	읽기 확장성 지원	읽기 및 쓰기 확장성 지원
확장 방식	수직 확장 방식으로 배포	수평 확장 방식으로 배포

5. 마무리

• 아파치 카산드라는 다운 타임 없이 지속적인 가용성과 고성능 및 선형 확장성을 제공합니다.
• 데이터 센터와 지역에 걸쳐 단순하고 손쉬운 복제, 페타 바이트 규모의 정보와 초당 수천 건의 동시 작업을 처리할 수 있는 카산드라는 하이브리드 클라우드 환경에서 성능 저하 없이 확장성과 고 가용성이 필요한 대량의 데이터를 관리할 수 있습니다.
• 단일 장애 지점 없이 많은 상용 서버에서 지속적인 가용성 및 운영 단순성을 제공합니다.
• 데이터 모델은 로그 구조 업데이트의 성능, 비정규화 및 구체화된 뷰에 대한 강력한 지원 및 강력한 내장 캐싱을 통해 컬럼 인덱스의 편의성을 제공합니다.

 

참고

• [DB Engines Ranking] Cassandra: https://db-engines.com/en/system/Cassandra
• [Cassandra] Official Docs(Apache Cassandra): https://cassandra.apache.org/doc/latest/cassandra/architecture/overview.html
• [Blog] 아파치 카산드라란?: https://goyunji.tistory.com/95
• [Blog] Apache Cassandra에 대해 알아보자: https://baek.dev/post/23/