[NoSQL] mongoDB(vs Elasticsearch) 정리: NoSQL Document DB

💡 본 문서는 대표적인 NoSQL 중 하나인 'mongoDB'에 대한 개념을 정리하며 같은 Document DB인 Elasticsearch와 비교해놓은 글입니다.
평소에 NoSQL에 관심이 있거나 mongoDB를 입문하고 싶으신 분들을 참고 부탁드립니다.

1. mongoDB 소개

1.1 mongoDB 소개

 mongoDB는 NoSQL DBMS 의 하나로, 뛰어난 확장성과 성능을 자랑합니다. 또한, 현존하는 NoSQL 데이터베이스 중 인지도 1위, 전체 DB 인지도 5위를 유지하고 있습니다(DB-Engines Ranking). mongoDB만으로는 mongoDB만의 장점을 찾기 어려우니 같은 Document DB인 Elasticsearch와 비교하며 정리하도록 하겠습니다.

1.2 Elasticsearch vs mongoDB 특징 비교

Name	Elasticsearch	MongoDB
Description	A distributed, RESTful modern search and analytics engine based on Apache Lucene	One of the most popular document stores available both as a fully managed cloud service and for deployment on self-managed infrastructure
Primary database model	Search engine	Document store
Secondary database models	Document store Spatial DBMS	Spatial DBMS Search engine  Time Series DBMS
Technical documentation	www.elastic.co/­guide/­en/­elasticsearch/­reference/­current/­index.html	docs.mongodb.com/­manual
Developer	Elastic	MongoDB, Inc
Initial release	2010	2009
Current release	7.8.0, June 2020	6.0.1, August 2022
License	Open Source (License: Apache 2.0)	Open Source (License: GNU AGPL v3.0)
Cloud-based only	no	no (MongoDB Atlas: Cloud Service)
DBaaS offerings (sponsored links)		ScaleGrid for MongoDB Database: Fully managed hosting for MongoDB Database on a wide variety of cloud providers and On-Premises. Automate your management, scaling and backups through one centralized platform.
Implementation language	Java	C++
Data scheme	schema-free (정형) - Document 내 같은 필드는 데이터 타입이 같음 - mapping 구조 확인가능	schema-free (비정형) - Document 내 같은 필드라도 데이터 타입이 다를 수 있음 - mapping 구조가 정해지지 않음
Typing	yes - epoch_millis, epoch_second, geo_point, keyword, text, binary...	yes  - string, integer, double, decimal, boolean, date, object_id, geospatial
Secondary indexes	yes	yes
SQL	SQL-like query language	Read-only SQL queries via the MongoDB Connector for BI
APIs and other access methods	Java API RESTful HTTP/JSON API	Bson(Binary + Json) 문서 기반 저장 및 검색
Supported Languages	.Net, Groovy, Community Contributed Clients, Java, JavaScript, Perl, PHP, Python, Ruby	Actionscript info, C, C#, C++, Clojure info, ColdFusion info, D info, Dart info, Delphi info, Erlang, Go, Groovy info, Haskell, Java, JavaScript, Lisp info, Lua info, MatLab info, Perl, PHP, PowerShell info, Prolog info, Python, R info, Ruby, Rust, Scala, Smalltalk info, Swift
3rd parties	Elastic 자체적으로 다양한 서비스 제공.	MongoDB Charts: 실시간 애플리케이션 데이터의 시각화 + Chart Type CData: Connect to Big Data & NoSQL through standard Drivers. » more Percona: Database problems? Not on your watch. Databases run better with Percona. » more Navicat for MongoDB gives you a highly effective GUI interface for MongoDB database management, administration and development. » more

• 더욱 자세한 내용은 DB-Engines Ranking: Elasticsearch vs. MongoDB 부분을 참고해주시기 바랍니다.

2. mongoDB 개념

2.1 mongoDB 저장 구조

RDB	table	row	column	schema
Elasticsearch	index	document (Json)	field	mapping
mongoDB	collection	document (Bson)	field	스키마에 대한 메타 데이터가 없음

2.1.1 collection

• 다소 비슷한 특성을 가진 document의 모음
• 아래의 '2.3 Collection 컬랙션'에서 추가 설명

2.1.2 document (= 문서)

• 데이터 입출력 시에는 JSON 형식의 도큐먼트를 사용하나 데이터베이스 저장 시에는 이진 포맷으로 인코딩한 BSON(Binary JSON) 형식의 도큐먼트로 변환되어 저장됩니다. 데이터 처리에 따른 성능 개선을 위해 사용합니다.
  • 사실 BSON으로 인코딩(encoding)하거나 디코딩(decoding)하는 것은 mongoDB가 자동으로 처리하므로 사용자가 몰라도 문제가 없습니다.
• 관계를 갖는 데이터를 단일 도큐먼트에 저장할 수 있으나 도큐먼트의 크기를 증가시켜 디스크 I/O 성능 저하 및 도큐먼트 최대 크기(16MB)를 초과할 수 있어 사용에 주의가 필요함
• 트랜잭션을 지원하지 않고 각각의 도큐먼트 단위로 처리되며 Commit 또는 Rollback 개념이 없이 모두 Auto Commit으로 처리됩니다.
• 아래의 '2.2 Document 데이터 모델'에서 추가 설명

2.1.3 schema

• 스키마 선언 없이 도큐먼트의 필드를 자유롭게 추가 및 삭제할 수 있는 유연한 구조
• 또한 컬렉션 내 모든 도큐먼트들의 필드 집합이 동일하지 않고 같은 필드라도 데이터 타입이 다를 수 있는 비정형 스키마
• 따라서 데이터 관리 주체가 불명확해져 스키마가 중구난방 생성되거나 부주의하게 삭제될 수 있는 등 관리의 어려우며, schema 구조를 확인하기 어려움

2.2 mongoDB 주요 기능

2.2.1 데이터 복제 (Replication)

• MongoDB 는 복제 세트(Replica Set) 라고 부르는 구성을 통해서 데이터베이스 복제 기능을 제공합니다.
• 관계형 데이터베이스의 복제 방삭과 유사하게 프라이머리 노드에서만 읽기와 쓰기가 모두 가능하며, 여러 서버에 분산된 세컨더리 노드는 읽기가 가능하여 read의 HA(고가용성)을 확보합니다.
• 자동 장애 조치(Failover)으로 프라이머리 노드에 장애가 발생하면 클러스터는 자동으로 세컨더리 가운데 하나를 선택해서 프라이머리로 설정(승격) 합니다.

2.2.2 데이터 분산 (Sharing / Partitioning)

• 하나의 노드를 업그레이드 하는 것이 아닌, 데이터베이스를 여러 대의 서버에 분산시키는 것을 의미 합니다.(scaling horizontally)
• 샤딩(sharding)으로 알려진 번위 기반(range-based) 파티션 메커니즘을 통해 데이터를 여러 노드에 걸쳐 분산하는 것을 자동으로 관리해줍니다.
• 샤딩 시스템은 샤드 노드를 추가해서 용량을 필요한 만큼 늘리고 자동 장애조치 기능도 제공합니다.

2.2.3 속도와 내구성

• MongoDB의 경우 쓰기 시맨틱스(Write semantics)와 저널링(journaling) 을 통해 쓰기 속도와 내구성 사이에서 타협합니다.
  • 쓰기 속도는 미리 정해진 시간 내에 데이터베이스가 얼마나 많은 양의 삽입, 수정, 삭제 처리 할 수 있는 지를 의미 합니다.
  • 내구성은 이러한 쓰기 연산이 디스크에 제대로 반영 됨을 확신할 수 있다 정도를 의미합니다.
  • 쓰기 속도와 내구성(안정성) 사이는 역관계 또는 상충관계(trade-off)를 가집니다.
• 트렌젝션
  • MongoDB 를 fire-and-forget 모드로 설정하면 확인을 기다릴 필요 없이 서버에 쓰기 작업을 전송할 수 있습니다. 또한 커밋이 되었는지 확인 하기 전에 다수의 복제 서버들이 쓰기 작업을 할 수 있습니다.
  • 단위 데이터는 작지만 양은 방대한 데이터(가령 클릭스트림 이나 로그 와 같은)에 대해서는 fire-and-forget 모드 쓰기가 적합하고, 중요한 데이터의 경우에는 안전 모드 쓰기(safe=True)가 더 낫습니다.
• 데이터 저장(저널링)
  • MongoDB v2.0 이후로 저널링이 사용 가능 상태로 설정되며, 저널링은 모든 쓰기에 대한 로그를 100ms 마다 한 번씩 저널 파일에 기록 하게 합니다.
  • 쓰기 부하에 대한 성능을 향상 시키기 위해 저널링을 하지 않은 채 실행할 수도 있습니다. 다만 이렇게 할 경우, 서버가 셧다운 될 때 데이터 파일이 손상될 수도 있습니다. 저널링을 사용하지 않는 경우에는 장애가 발생하더라도 손상되지 않은 데이터 복사본을 가질 가능성을 높이기 위해서 다른 데이터 센터의 데이터베이스로 복제를 하는 것이 좋습니다.

 

2.3 Document 데이터 모델링

JSON(JavaScript Object Notation) 형식으로 데이터를 관리하므로 NoSQL 데이터베이스 중 Document 데이터베이스로 분류됩니다. 따라서 Document 데이터모델 및 mongoDB의 특성을 고려한 데이터 모델링을 해야 합니다.

mongoDB 데이터 모델링은 도큐먼트 설계 후 컬렉션을 설계하는 순서로 진행됩니다. 또한 애플리케이션의 처리방안을 고려한 도큐먼트 구조를 어떻게 설계하느냐에 따라 데이터 정합성과 성능에 큰 영향을 주게 되므로 이에 대한 정확한 이해가 필요합니다. 

2.3.1 Document 구조란?

도큐먼트는 관계형 데이터베이스의 로우(Row)와 같은 개념이며, mongoDB에서는 데이터를 저장하는 최소 단위입니다. 다음의 그림은 도큐먼트 구조를 나타낸 것으로 데이터의 관계를 표현하는 방식에 따라 크게 임베디드 방식과 레퍼런스 방식으로 나뉘며, 레퍼런스 방식은 세부적으로 자식 참조, 부모 참조, 상호 참조 방식으로 구성됩니다.

• 임베디드 방식: 관계를 갖는 데이터를 단일 도큐먼트에 sub-document로 저장
• 레퍼런스 방식: 관계를 갖는 도큐먼트의 참조키를 저장하며, 참조키를 id로 갖는 데이터 베이스를 참조

+ ObjectId

ObjectId는 RDBMS의 Primary Key와 같이 고유한 키를 의미하는데, 차이점은 Primary Key는 DBMS가 직접 부여한다면 ObjectId는 클라이언트에서 생성합니다. 클라이언트에서 생성하는 이유는 MongoDB 클러스터에서 Sharding된 데이터를 빠르게 가져오기 위함인데 Router(mongos)는 ObjectId를 보고 데이터가 존재하는 Shard에서 데이터를 요청할 수 있습니다. 의아하게도 MongoDB 서버에서 알아서 ObjectId를 부여해서 저장해도 될 것 같은데 딱히 지원해주지 않습니다. 참고로 ObjectId를 넣지않고 저장한다면 데이터가 그대로 저장됩니다.

2.3.2 Collection 컬랙션

컬렉션은 관계형 데이터베이스의 테이블(Table)과 같은 개념으로 용도가 같거나 유사한 도큐먼트들의 그룹을 묶는 단위를 의미하며, 4가지 종류의 일반 컬렉션, 캡드 컬렉션, TTL 컬렉션, 시스템 컬렉션으로 나뉩니다.

종류	내용
일반 컬렉션	가장 일반적으로 사용되는 컬렉션임
캡드 컬렉션	캡드 컬렉션은 고정된 크기를 갖는 컬렉션으로 높은 성능의 로깅 기능을 위해 설계됨 - 명령어 : db.createCollection( "log"\, { capped : true, size : 100000, max : 100 } )     1) "log" 컬렉션 생성 시 캡드 옵션을 설정하고 최대 사이즈와 최대 도큐먼트 수를 설정함     2) size : 최대 저장크기로 단위는 Byte임     3) max : 최대 도큐먼트 수로 옵션 생략이 가능함 - 도큐먼트 추가 시 디스크 공간이 없는 경우 가장 오래전에 추가된 도큐먼트부터 덮어쓰기하기에 데이터 관리가 편리함 - 로깅을 위해 만들어져 사용자가 임의로 삭제하거나 업데이트할 수 없음
TTL 컬렉션	TTL 컬렉션은 특정 시간이 경과한 도큐먼트를 자동으로 삭제하는 컬렉션으로 TTL 인덱스에 의해 지원되는 기능임 - 명령어 : db.member.createIndex( { modify_date : 1 }\, { expireAfterSeconds : 3600 } )     1) modify_date 필드에 인덱스를 생성하여 1시간(3600/60/60)이 지난 도큐먼트는 삭제함     2) expireAfterSeconds : 도큐먼트의 유지시간을 초 단위로 설정함 - "_id" 필드 또는 이미 다른 인덱스가 있는 필드는 TTL 인덱스를 가질 수 없음 - 캡드 컬렉션인 경우 TTL 인덱스를 가질 수 없음 - 단일 인덱스만 사용 가능하며 복합(Compound) 인덱스를 가질 수 없음
시스템 컬렉션	mongoDB 내부에서 사용되는 컬렉션으로 사용자가 지정하여 사용할 수 없음

2.3.2 컬랙션 분리

• 단일 컬렉션에 쓰기 작업이 많은 경우 컬렉션 분리를 고려함
• 단일 컬렉션에서 대량의 데이터를 정기적으로 삭제하는 경우 컬렉션 분리를 고려함
• 단일 컬렉션에 저장되는 도큐먼트들의 액세스 패턴이 다양한 경우 컬렉션 분리를 고려함
• 자주 조회되거나 도큐먼트 수가 적은 컬렉션은 메모리에 캐시 될 수 있도록 컬렉션 분리를 고려함

3. 마무리

주된 차이점이라 느껴지는 것은...

	Elasticsearch	MongoDB
Data Schema	schema-free (정형) - Document 내 같은 필드는 데이터 타입이 같음 - mapping 구조 확인가능	schema-free (비정형) - Document 내 같은 필드라도 데이터 타입이 다를 수 있음 - mapping 구조가 정해지지 않음
APIs and other access methods	Java API RESTful HTTP/JSON API	Bson(Binary + Json) 문서 기반 저장 및 검색
Supported Languages	.Net, Groovy, Community Contributed Clients, Java, JavaScript, Perl, PHP, Python, Ruby	Actionscript info, C, C#, C++, Clojure info, ColdFusion info, D info, Dart info, Delphi info, Erlang, Go, Groovy info, Haskell, Java, JavaScript, Lisp info, Lua info, MatLab info, Perl, PHP, PowerShell info, Prolog info, Python, R info, Ruby, Rust, Scala, Smalltalk info, Swift
3rd parties	Elastic 자체적으로 다양한 서비스 제공.	MongoDB Charts: 실시간 애플리케이션 데이터의 시각화 + Chart Type CData: Connect to Big Data & NoSQL through standard Drivers. » more Percona: Database problems? Not on your watch. Databases run better with Percona. » more Navicat for MongoDB gives you a highly effective GUI interface for MongoDB database management, administration and development. » more

 

참고

• [book] MongoDB in Action(몽고 디비 인 액션) 2nd Edition : 카일 뱅커, 2018, 제이펍
• [book] NoSQL 철저 입문 : 댄 설리번, 2015, 길벗
• [book] 대용량 데이터 처리를 위한 Real MongoDB : 이성욱, 2018, 위키북스
• [mongoDB] official manual: https://docs.mongodb.com/manual/
• [wiki] NoSQL: https://ko.wikipedia.org/wiki/NoSQL 
• mongoDB Story 2: mongoDB 특징과 구성요소: https://meetup.toast.com/posts/275