[Elastic] ELK Stack: Logstash 정리

💡 본 문서는 ELK Stack 중 'Logstash'에 대한 개념을 간단하게 정리해놓은 글입니다.
평소에 ELK Stack에 관심이 있거나 Logstash를 입문하고 싶으신 분들을 참고 부탁드립니다.

1. Logstash 소개

1.1 Elastic Stack (ELK Stack)

• E(Elasticsearch): 데이터 저장 및 검색
• L(Logstash): 데이터 수집
  • 로그 스태시는 데이터의 입력, 변환, 출력을 실시간 파이프라인으로 처리하는 오픈소스 데이터 수집 엔진.
  • 다양한 입력 소스에서 동시에 데이터를 수집(Ingest)하여 변환한 후 자주 사용하는 "스태시(Stash)-보관소"(Elasticsearch)로 전송
• K(Kibana): 데이터 시각화 및 리포팅 분석
  • 키바나는 엘라스틱서치와 연동하여 동작하는 데이터 시각화(리포팅) 및 분석

1.2 Logstash: 데이터 수집

• Logstash는 입력(input) 기능에서 다양한 데이터와 로그를 입력 받고 필터(filter) 기능을 통해 데이터를 가공하고, 출력(output) 기능을 통해 원하는 목적에 맞게 다양한 데이터 저장소로 데이터를 전송하는 도구입니다.
• Logstash가 출력 API로 Elasticsearch를 지원하기 시작하면서 많은 곳에서 Elasticsearch의 입력 수단으로 Logstash를 사용하기 시작했습니다.
  

2. Logstash 개념

2.1 Logstash: Dataflow 관리 엔진 

• 데이터 흐름을 위한 오픈소스 중앙 처리 엔진
• dataflow 파이프라인을 구축하여 이벤트 데이터의 변환 및 스트림 설정
• 다양한 데이터 자원 접근
• 원시 버퍼링을 통한 수평적인 스케일링
• 통합 처리를 위한 탄탄한 200개 이상의 플러그인

2.2 Logstash 구성

Logstash의 설정(.conf)은 입력(Input), 가공(Filter), 출력(Output) 섹션으로 나뉘는데, 이에 대한 자세한 설명과 동시에 참고 할 수 있는 Plugin들을 정리해보았습니다. Logstash를 활용하여 다양한 로그와 파일을 기반으로 데이터 구조를 구축하고 변환하여 여러가지 결과 값들을 확인할 수 있습니다.

2.2.1 입력 (Input)

Logstash는 데이터를 동적으로 수집, 전환, 전송하여 전반적인 처리를 손쉽게 처리해줍니다. 일반적인 다수의 소스에서 동시에 이벤트를 가져오는 다양한 입력을 지원합니다. Log, Metrics.Web Applications, Data Source 스트리밍 되는 방식으로 수집 할 수 있습니다.

Input plugins 에는 Files, SQL Queries, HTTP requests, Elasticsearch, *Beats, Metrics systems, Logstash pipelines 등 다양한 곳에서 데이터를 수집할 수 있습니다.

2.2.2 가공 (Filter)

Logstash는 데이터가 이동하는 과정에서 분석과 식별을 통해 구조를 구축하고 이를 바탕으로 변환 통합하여 강력한 분석을 제공합니다. 형식이나 복잡성에 관계 없이 데이터를 동적으로 변환합니다.

Filter plugins 으로 Log 파싱, 데이터 확장, 테그 추가 등의 기능을 지원하고 있습니다.

2.2.3 출력 (Output)

원하는 데이터를 라우팅할 수 있도록 다양한 출력을 제공하며, 이는 Plugins을 통해 확인할 수 있습니다.

Outputs plugins 에는 Elasticsearch, Data 보관소 (ex. Amazon S3 , Google storages), Alterting & Monitoring System 등이 있습니다.

다양한 출력을 지원하여 여러 저장소로 데이터를 다운스트림 할 수 있으며 ,플러그인 파이프라인 아키텍처를 지향하며 다양한 입력,가공,출력을 조정하면서 조화롭게 운영이 가능합니다

2.2.4 비츠 (Beats): 데이터 수집기(수백대의 장치로부터 데이터 수집 및 송신)

• 데이터를 수집하여 Logstash/Elasticsearch에 저장하여 모니터링 하는 시스템입니다.
  • Logstash의 Input의 형태로 넣을 수 있으며, 가벼워 데이터 변형이 필요없을 경우 Logstash를 대체하기도 합니다.
• 현재 Elastic 에서는 Packetbeat, Libbeat, Filebeat, Metricbeat, Winlogbeat, Auditbeat 등을 개발하여 배포하고 있습니다.
  
  • 참고: https://esbook.kimjmin.net/01-overview/1.1-elastic-stack/1.1.4-beats#libbeat

2.3 Logstash 동작

1. 입력으로 받은 데이터를 코덱으로 변환해준 후 작업 큐에 저장.
2. 파이프라인마다 Batcher에서 작업 큐에 있는 내용을 몇개씩 묶음.
3. 이후 elasticsearch의 _bulk API로 데이터를 보냄

+ 코덱 (Codec): 데이터 인코딩 & 디코딩

• 입력과 출력에서 데이터를 변환해주는 작업을 합니다.
• JSON, Avro, msgpack, Netflow, CloudTrail 등의 다양한 형태의 데이터를 지원합니다.

2.4 Logstash 데모

• 참고 (영상 14:30): https://www.elastic.co/kr/webinars/getting-started-logstash?baymax=rtp&elektra=docs&storm=top-video&iesrc=ctr

 

참고

• [Elastic official] Logstash: https://www.elastic.co/guide/en/logstash/current/getting-started-with-logstash.html
• Input plugin Ref. https://www.elastic.co/guide/en/logstash/current/input-plugins.html
• Filter plugin Ref. https://www.elastic.co/guide/en/logstash/current/filter-plugins.html
• Output plugin Ref. https://www.elastic.co/guide/en/logstash/current/output-plugins.html
• Logstash Basic video: https://www.elastic.co/kr/webinars/getting-started-logstash?baymax=rtp&elektra=docs&storm=top-video&iesrc=ctr