Study: DeveloperTools(DevTool)/DevTool: NoSQL(Elastic, Mongo)

[Elastic] DB 데이터 dump하는 방법 : Elasticsearch 데이터를 export, import 하자! (feat. elasticdump)

엘라스틱덤프를 이용하여 인덱스의 export, import를 진행 보고자 한다. elasticdump 설치 elasticdump 설치가 되어있지 않다면 설치를 진행 npm install elasticdump -g 잘 설치 되었는지 확인 elasticdump --version index의 document 내보내기(export) & 가져오기(import) index의 document 내보내기 로컬 엘라스틱서치에 있는 bank인덱스의 데이터를 bank.json파일로 내보내고자 한다 elasticdump --input=http://localhost:9200/bank --output=./bank.json 만약 프로토콜이 https라면 NODE_TLS_REJECT_UNAUTHORIZED=0 옵션을 명령어 앞에 추가..

[Elastic] ELK Stack: ELK Stack을 활용한 로그 관리 시스템 구축

본 문서는 ELK Stack: ELK Stack을 활용한 로그 관리 시스템 구축 이라는 문서를 바탕으로 작성한 문서이며, 로그가 관리가 안되는 문제를 ELK Stack을 활용하여 해결한 내용을 담고 있습니다. 참고 부탁드립니다. 로그 관리의 필요성 이처럼 로그를 따로 관리하지 않고 파일에 쌓아두기만 한다면 여러 가지 문제점이 발생합니다. INFO, WARNING과 같은 log level을 한눈에 파악하기 어려움. 검색어의 한글이 인코딩 되어 있어서 파악하기 힘들고 검색어 분석 또한 어려움. 날짜와 시간에 따른 로그 분석이 어려움. 로그가 쌓이다 보면 과거의 로그가 디스크 공간을 너무 많이 차지하게 됨. 이와 같은 문제점들을 해결하기 위해서는 생성되는 로그들을 단순히 파일에 쌓이도록 방치하면 안 되고 로그..

[Elastic] ELK Stack: Kibana 정리

💡 본 문서는 ELK Stack 중 'Kibana'에 대한 개념을 간단하게 정리해놓은 글입니다. 평소에 ELK Stack에 관심이 있거나 Kibana를 입문하고 싶으신 분들을 참고 부탁드립니다. 1. Kibana 소개 1.1 Elastic Stack (ELK Stack) E(Elasticsearch): 데이터 저장 및 검색 L(Logstash): 데이터 수집 로그 스태시는 데이터의 입력, 변환, 출력을 실시간 파이프라인으로 처리하는 오픈소스 데이터 수집 엔진. 다양한 입력 소스에서 동시에 데이터를 수집(Ingest)하여 변환한 후 자주 사용하는 "스태시(Stash)-보관소"(Elasticsearch)로 전송 K(Kibana): 데이터 시각화 및 리포팅 분석 키바나는 엘라스틱서치와 연동하여 동작하는 데이터..

[Elastic] ELK Stack: Logstash 정리

💡 본 문서는 ELK Stack 중 'Logstash'에 대한 개념을 간단하게 정리해놓은 글입니다. 평소에 ELK Stack에 관심이 있거나 Logstash를 입문하고 싶으신 분들을 참고 부탁드립니다. 1. Logstash 소개 1.1 Elastic Stack (ELK Stack) E(Elasticsearch): 데이터 저장 및 검색 L(Logstash): 데이터 수집 로그 스태시는 데이터의 입력, 변환, 출력을 실시간 파이프라인으로 처리하는 오픈소스 데이터 수집 엔진. 다양한 입력 소스에서 동시에 데이터를 수집(Ingest)하여 변환한 후 자주 사용하는 "스태시(Stash)-보관소"(Elasticsearch)로 전송 K(Kibana): 데이터 시각화 및 리포팅 분석 키바나는 엘라스틱서치와 연동하여 동작..

[Elastic] ELK Stack: Elasticsearch 정리(NoSQL Document DB)

💡 본 문서는 ELK Stack 중 'Elasticsearch'에 대한 개념을 간단하게 정리해놓은 글입니다. 평소에 ELK Stack에 관심이 있거나 Elasticsearch를 입문하고 싶으신 분들을 참고 부탁드립니다. 1. Elasticsearch 소개 1.1 Elastic Stack (ELK Stack) E(Elasticsearch): 데이터 저장 및 검색 L(Logstash): 데이터 수집 로그 스태시는 데이터의 입력, 변환, 출력을 실시간 파이프라인으로 처리하는 오픈소스 데이터 수집 엔진. 다양한 입력 소스에서 동시에 데이터를 수집(Ingest)하여 변환한 후 자주 사용하는 "스태시(Stash)-보관소"(Elasticsearch)로 전송 K(Kibana): 데이터 시각화 및 리포팅 분석 키바나는 ..