[Elastic] ELK Stack: Elasticsearch 정리(NoSQL Document DB)

💡 본 문서는 ELK Stack 중 'Elasticsearch'에 대한 개념을 간단하게 정리해놓은 글입니다.
평소에 ELK Stack에 관심이 있거나 Elasticsearch를 입문하고 싶으신 분들을 참고 부탁드립니다.

1. Elasticsearch 소개

1.1 Elastic Stack (ELK Stack)

• E(Elasticsearch): 데이터 저장 및 검색
• L(Logstash): 데이터 수집
  • 로그 스태시는 데이터의 입력, 변환, 출력을 실시간 파이프라인으로 처리하는 오픈소스 데이터 수집 엔진.
  • 다양한 입력 소스에서 동시에 데이터를 수집(Ingest)하여 변환한 후 자주 사용하는 "스태시(Stash)-보관소"(Elasticsearch)로 전송
• K(Kibana): 데이터 시각화 및 리포팅 분석
  • 키바나는 엘라스틱서치와 연동하여 동작하는 데이터 시각화(리포팅) 및 분석

1.2 Elasticsearch 특징

Name	Elasticsearch
Description	A distributed, RESTful modern search and analytics engine based on Apache Lucene
Primary database model	Search engine
Secondary database models	Document store Spatial DBMS
Technical documentation	www.elastic.co/­guide/­en/­elasticsearch/­reference/­current/­index.html
Developer	Elastic
Initial release	2010
Current release	7.8.0, June 2020
License	Open Source (Lisence: Apache 2.0)
Cloud-based only	no
DBaaS offerings (sponsored links)
Implementation language	Java
Data scheme	schema-free
Typing	yes
Secondary indexes	yes
SQL	SQL-like query language
APIs and other access methods	Java API RESTful HTTP/JSON API

• 더욱 자세한 내용은 DB-Engines Ranking: Elasticsearch 부분을 참고해주시기 바랍니다.

1.3 Elasticsearch 세부 특징

• 전문(full-text) 검색, 구조화된 데이터의 실시간 분석
• 분산 시스템
  • 여러 개의 노드에 데이터를 색인(Indexing)하고 검색, 저장
    • 항상 일정한 데이터 복사본의 개수를 유지하며 높은 가용성과 안정성 보장
  • 노드는 독립적으로 실행되는 프로세스
  • 데이터 저장소(data store)
    • 수백 대의 서버로 scale out
    • PD 급의 데이터 저장
• 아파치 루씬(Apache Lucene) 사용하여 개발
  • 고성능 정보 검색(IR, Information retrieval) 라이브러리
  • Java로 구현된 안정적이고 무료로 사용할 수 있는 오픈 소스 프로젝트
  • Elastic Search = 루씬의 검색/색인에 필요한 API를 제공 + 분산처리를 비롯해 대용량 데이터를 처리하기 위한 기능

1.4 Elasticsearch 사용 사례

위키피디아

• 전문 검색을 수행
• 실시간 타이핑 검색
• 추천 검색어 기능

스텍 오버플로우

• 검색 내용과 결과를 통합해 유사한 질문과 해답을 연결

깃허브

• 1,300억 줄이 넘는 소스코드를 검색하는데 사용

더 가디언

• 방문객의 로그 분석
• 소셜 데이터 생성 및 분석으로 실시간 응대
• 기사에 대한 반응 분석

골드만 삭스

• 매일 5TB가 넘는 데이터를 저장
• 주식 시장의 변동 분석에 사용

2. Elasticsearch 구조

2.1 Elasticsearch 저장 구조 (RDB와 비교)

기존의 RDB와는 다른 저장 구조를 가짐

RDB	table	row	column	schema
Elasticsearch	index	document (Json)	field	mapping

2.1.1 index (= 인덱스 = 색인)

• 다소 비슷한 특성을 가진 document의 모음
• 이름(모두 소문자여야 함)으로 식별
• 이 이름은 색인에 포함된 문서에 대한 색인화, 검색, 업데이트, 삭제 작업에서 해당 색인을 가리키는 데 쓰임

2.1.2 type (= 타입 = 유형)

• 하나의 색인에서 하나 이상의 유형을 정의가능
• 유형이란 색인을 논리적으로 분류/구분한 것이며 그 의미 체계는 전적으로 사용자가 결정.
• Elasticsearch 6.0부터는 데이터 저장에 하나의 type만 지원되기 때문에 이후 데이터 입력시 /$index/_doc/$id로 해야함.
  • 물론, 검색을 위한 type으로는 _search, _bulk 등 다양하게 사용함.

2.1.3 document (= 문서)

• JSON(JavaScript Object Notation) 형식
• 하나의 색인/유형에 하나 이상의 문서를 저장가능

2.2 Elasticsearch 아키텍쳐 특징

기본적으로 Elasticsearch는 클러스터라는 단위로 데이터 제공되며, 아래에서 최상위 개념인 클러스터부터 최하위 개념인 세그먼트까지 하향식으로 살펴보겠습니다.

2.2.1 클러스터

• 기본적으로 Elasticsearch는 클러스터라는 단위로 데이터 제공
• 클러스터는 하나 이상의 물리적인 노드(서버)로 구성되며, 전체 데이터를 저장하고 모든 노드를 포괄하는 통합 색인화 및 검색 기능을 제공
• 클러스터는 기본적으로 elasticsearch 라는 고유한 이름으로 식별
• 동일한 클러스터 이름을 서로 다른 환경에서 재사용하면 안됨

2.2.2 노드

• 노드는 클러스터의 일부이며 데이터를 저장하고 클러스터의 인덱싱 및 검색 기능에 참여하는 단일 서버
• 노드 내엔 루씬 라이브러리가 포함되어 있으며, 이는 ES의 근간을 이루는 핵심 모듈
• 기본 이름은 시작 시 노드에 지정되는 임의 UUID(Universally Unique IDentifier)이며, 다른 이름으로 정의 가능
• 단일 클러스터에서 원하는 만큼의 노드를 소유 가능하며, 단일 노드를 시작하면 기본적으로 `elasticsearch`라는 이름의 새로운 단일 노드 클러스터 생성

+ 노드 바인딩

• 같은 클러스터 이름을 가지고 실행된 노드는 자동으로 바인딩
• 9200번 부터 REST API를 위한 HTTP 통신 포트가 할당
• 9300번 부터 노드간 바인딩을 위한 포트로 할당

2.2.3 샤드 & 복사본(리플리카)

• 샤드 (Shard, Primary Shard)
  • 색인은 방대한 양의 데이터를 저장가능하기에 단일 노드의 디스크에서 수용하지 못하거나 검색 요청 처리 시 속도가 너무 느려짐
  • 샤드는 데이터 검색을 위해 구분되는 최소 단위로 색인을 샤드로 분할하는 기능을 제공
    • 작업을 여러 샤드에 분산 배치하고 병렬화함으로써 성능/처리량 향상
• 리플리카 (Replica, Replica Shard)
  • 색인의 샤드에 대해 하나 이상의 복사본을 생성할 수 있는데, 이를 '리플리카 샤드(replica shard)' 줄여서 '리플리카'라고 함
  • 리플리카를 만드는 복제가 중요한 이유
    • 리플리카 샤드는 그 원본인 기본 샤드와 동일한 노드에 배정되지 않기에 샤드/노드 오류가 발생했을 때 Failover 메커니즘 동작
      • Primary shard 가 포함된 노드 다운 시 ES는 replicas 중 하나를 Primary 로 승격하고 계속 서비스를 이어감
      • Failover(시스템 대체 작동): 평소 사용하는 서버와 그 서버의 클론 서버를 가지고 있다가 사용 서버가 장애로 사용이 어렵게 되었을 경우 클론 서버로 그 일을 대신 처리하게 해서 무정지 시스템을 구축하게 해 주는 것을 의미
    • 모든 리플리카에서 병렬 방식으로 검색을 실행할 수 있으므로 검색 볼륨/처리량을 확장가능
• 인덱스별 기본 샤드 & 리플리카 구성
  • 기본적으로 Elasticsearch의 각 색인은 기본 샤드 5개, 리플리카 1개 갖음
  • 따라서 클러스터에 최소한 2개의 노드가 있다면 색인은 기본 샤드 5개, 리플리카 샤드 5개(완전한 리플리카 1개)를 가지므로 색인당 총 10개의 샤드가 존재하게 됨.

2.2.4 세그먼트(Segment)

• document 들은 빠른 검색에 유리하도록 설계된 특수한 자료구조로 저장됨
• 샤드 내부엔 Lucene 라이브러리를 포함하며, 이를 이용해 대부분의 검색 기능을 제공함
• 루씬에 데이터가 색인되면 데이터는 최소 단위인 토큰으로 분리되고, Segment 라는 특수한 형태의 자료구조로 저장됨
• 세그먼트는 읽기에 최적화된 자료구조로 역색인이란 특수한 형태로 변환되어 물리적 디스크에 저장됨
• 검색엔진 특성상 쓰기보다 읽기 비중이 비교적 높기에, 좀 더 효율적으로 검색을 수행할 수 있도록 고안된 자료구조가 바로 역색인 구조임

참고

• [Elasticsearch] Official Contents: https://www.elastic.co/guide/kr/elasticsearch/reference/current/gs-basic-concepts.html
• [Elasticsearch] Official Index & Shards: https://esbook.kimjmin.net/03-cluster/3.2-index-and-shards 
• elastic search 가이드북: https://esbook.kimjmin.net/ 
• 순천향대학교 교육자료: http://cs.sch.ac.kr/lecture/BigData/2017/03-ElasticSearch-Introduction.pdf
•  Elastic Search 입문: https://www.slideshare.net/seunghyuneom/elastic-search-52724188
• Elastic Search 적용 및 활용: https://www.slideshare.net/JunyiSong1/elasticsearch-45936425