[NoSQL] Redis(vs Memcached) 정리: NoSQL Key-value DB

💡 본 문서는 대표적인 NoSQL 중 하나인 'Redis'에 대한 개념을 간단하게 정리해놓은 글입니다.
평소에 NoSQL에 관심이 있거나 Redis를 입문하고 싶으신 분들을 참고 부탁드립니다.

1. Redis 소개

1.1 Redis 소개

Redis는 Remote Dictionary Server를 뜻합니다. 이는 대표적인 In-Memory data store 솔루션 중 하나로 꼽히는데, 특히 Memcached와 종종 비교되곤 합니다. Redis는 Memcached와는 달리 다양한 데이터 타입을 지원하여 보다 다양한 분야의 요구사항을 충족시키며, 분산 Key-Value Store, 캐시서버, 메시지 브로커 등으로 활용되기도 합니다.

추가로, DB-Engines Ranking 기준으로 현존하는 NoSQL 데이터베이스 중 인지도 2위, 전체 DB 인지도 6위를 유지하고 있습니다. 

1.2 Redis 특징: NoSQL (Key-value + Document, Graph, Spatial, Search engine, Time Series)

Name	Redis
Description	Popular in-memory data platform used as a cache, message broker, and database that can be deployed on-premises, across clouds, and hybrid environments
Primary database model	Key-value store
Secondary database models	Document store  Graph DBMS  Spatial DBMS Search engine  Time Series DBMS
Technical documentation	docs.redis.com/­latest/­index.html redis.io/­documentation
Developer	Redis project core team, inspired by Salvatore Sanfilippo
Initial release	2009
Current release	7.0.5, September 2022
License	Open Source (3-Clause-BSD)
Cloud-based only	no
DBaaS offerings (sponsored links)	Aiven for Redis: Fully managed in-memory key-value store, for all your caching and speedy lookup needs. Redis Enterprise Cloud: Instantly scale and pay only for the resources you need - on any cloud - AWS, Azure or Google Cloud. ScaleGrid Hosting for Redis: Fully managed hosting for Redis on a wide variety of cloud providers and On-Premises. Get advanced monitoring and automate your management through one centralized platform.
Data scheme	schema-free
Typing	Supported data types(Collection) - String: 문자열, 정수, 소수 - Bitmap: bit 단위의 연산 가능 - Hash: Key-Value 기반 정렬되지 않은 해시테이블 - List: string의 리스트 - Set: 중복을 제외한 값 저장 - ZSet(sorted sets): String 데이터를 실수로 표현되는 score와 매핑 후 score 순으로 정렬하여 값/범위 기반 검색 가능 - geospatial indexes: 실시간 위치기반 데이터 지원하여 지도기반의 고성능 서비스 제공 가능 - hyperloglogs: 많은 데이터를 저장할 때 사용하며 중복되지 않는 데이터의 개수를 카운트할 때 사용 - streams: 로그를 저장하기 가장 적당
Secondary indexes	yes
SQL	no
APIs and other access methods	proprietary protocol (RESP: REdis Sirialization Protocol)
3rd parties	Read the Redis NoSQL benchmark report. » more CData: Connect to Big Data & NoSQL through standard Drivers. » more Aiven for Redis: Store and access your data quickly and efficiently. » more data modeling methods with modules such as RediSearch, RedisJSON, RedisGraph, RedisTimeSeries, RedisBloom, and RedisAI, and allows operations to be executed across and between modules and core Redis functionality using RedisGears, a serverless engine that runs across shards and nodes of Redis Enterprise cluster.
Typical application scenarios	Redis Enterprise is used by large enterprise, startup, and government organizations to power use cases such as real-time fraud detection, global user session management, real-time inventory management, feature store for AI/ML, claims processing, and more.   Common use cases include (but not limited to): Caching (Query, API) High-speed transaction Data ingest Distributed messaging Real-time analytics Rate limiting  De-duplication Message Queing View Counting, User Session Management...

• 더욱 자세한 내용은 DB-Engines Ranking: Redis 부분을 참고해주시기 바랍니다.

1.3 Redis와 Memcached 차이점

In-memory Data Store 관점에서 Memcached와 Redis를 두고 비교하는 경우를 종종 볼 수 있습니다. 그 기능의 차이를 알아보고 2장에서는 Redis의 추가적인 기능에 대해 알아보도록 하겠습니다.

항목	Memcached	Redis
데이터 분할 (Sharding / Partitioning)	O (Consistent Hashing)	O
데이터 복제 (Replication)	O (Repcached)	O
다양한 데이터구조 지원	X	O
Multi Thread / Single Thread	Multi Thread	Single Thread
데이터 저장 (Persistence / Snapshot)	X	O
트랜잭션 지원	X	O
Publisher / Subscriber	X	O

2. Redis 구조

2.1 Redis 저장 구조(collection)

• String, Hash, Sorted Set, List, Set과 같은 자료구조 지원. 반면 Memcached는 문자열만 가능.
• 최대 512MB의 key와 512MB의 value를 지원. 반면 Memcached는 최대 250B의 key와 1MB의 value만 가능.
• 데이터 타입 별 생성 및 관리 방법은 해당 블로그를 참고하시기 바랍니다.

2.2 Redis  아키텍쳐 특징

2.2.1 데이터 복제 (Replication)

• 여러 노드에 모든 값이 복제되어 있으므로 read의 HA(고가용성)을 확보하여 자동 장애 조치(Failover) 시스템 구축하는데 목적이 있음.
• 그러나, 한 개의 마스터가 여러 개의 슬레이브로 복사되어야 한다는 점과 모든 replica들이 동일한 데이터를 들고 있게 된다는 특징 때문에 쓰기 관점에서는 확장성이 좋아진다고 보긴 어려움.

2.2.2 데이터 분산 (Sharing / Partitioning)

• 데이터를 범위 또는 해쉬를 기준으로 파티셔닝하여 데이터의 양 자체를 나눠 갖음(key의 대역폭을 정해서 관리함).
• 쓰는 데이터의 양이 늘어나더라도 확장성을 좋아지며, 책임져야할 노드의 역할이 분리되어 캐시 히트나 메모리 사용량이 분산하여 write의 HA(고가용성)을 확보됨.

2.2.3 Query Off Loading을 통한 성능 향상

• 이 master/slave replication을 뿐만 아니라 추가적인 성능을 향상을 위해서 'Query Off Loading'이라는 기법을 사용하여 동시접속자수나 처리 속도를 늘릴 수 있습니다.
  • Query Off Loading: master node는 write only, slave node는 read only 로 사용하는 방법이며, redis 뿐만 아니라 Oracle, MySQL과 같은 RDBMS에서도 많이 사용하는 아키텍쳐 패턴입니다.
• 대부분의 DB 트렌젝션은 웹시스템의 경우 write가 10~20%, read가 70~90% 선이기 때문에, read 트렌젝션을 분산 시킨다면, 처리 시간과 속도를 비약적으로 증가 시킬 수 있습니다.
• 특히 redis의 경우 value에 대한 여러가지 연산(합집합,교집합,Range Query)등을 수행하기 때문에, 단순 PUT/GET만 하는 NoSQL이나 memcached에 비해서 read에 사용되는 resource의 양이 상대적으로 높기 때문에 redis의 성능을 높이기 위해서 효과적인 방법입니다.

2.2.4 Redis-Cluster 

• Redis의 메모리는 제한되어 있기 때문에 주기적으로 Scale out을 해야합니다.
  • scale out : 서버를 추가하여 서버 성능을 높입니다.
  • scale up : 단일 서버의 스펙을 올려 서버 성능을 높입니다.
• master를 여러개 두어 분산 저장이 가능하며(Sharding), scale out 이 가능합니다.
  
  • 서버를 늘릴수록 저장할수 있는 공간이 무한대로 커진다. 
• master에 하나 이상의 slave 를 둘 수 있다.
• master 1,2,3 이 있다면 데이터는 3개중에 하나에 저장되며, client 가 데이터 읽기 요청시 저장된 곳이 아닌 다른 마스터에 요청 했다면 저장된 마스터 정보를 알려주며, 클라이언트는 전달받은 마스터 정보에 다시 요청해서 데이터를 받아와야 합니다.
  • But, 해당 부분은 redis-cluster 를 지원하는 라이브러리에서 다 해준다.

+ 참고: Redis 아키텍쳐의 배경 및 효용성

• [Blog] Redis 아키텍쳐: https://azderica.github.io/01-db-nosql-redis/

3. Redis 주요 기능

3.1 Scalability

Memcached의 확장성은 Scale up(vertical)을 통해서 얻을 수 있는 반면, Redis는 Scale out(horizontal)을 통해 얻을 수 있습니다.

3.2 Data Eviction 전략

캐시도 유한한 리소스를 지니므로, 결국 메모리에 자리잡은 자원을 언젠가 쫓아내야할 순간들이 찾아오기 마련입니다. 키를 삭제하지 않으면 모두 보관되며, 심지어 서버를 종료했다가 다시 켜도 상태가 유지됩니다.

이를 처리하기 위해 Memcached의 경우, LRU(Least Recently Used) 알고리즘만을 채택하고 있습니다. 반면 Redis의 경우 보다 다양하고 미세한 방법을 제공합니다.

• No Eviction: 메모리가 부족하면 에러를 던짐
• All Keys LRU: LRU에 근거하여 eviction 하기
• Volatile LRU: LRU를 따르되, 만료 시점이 지정된 것들에 한해서 eviction 수행
• All Keys Random: 랜덤하게 키 삭제
• Volatile Random: 랜덤하게 키 삭제하되, 그 대상은 만료 시점이 지정된 것들로 한정
• Volatile TTL: TTL 값을 기반으로, 만료시점이 빨리 도래하는 순서대로 삭제

3.3 데이터 저장 (Persistance)

Redis는 RDB 혹은 AOF 기반으로 데이터를 저장할 수 있는 기능이 있는 반면, Memcached는 들고 있는 데이터를 저장할 수 있는 기능 없습니다. 따라서 Memcached는 캐시로서의 기능밖에 수행하지 못합니다. 물론, RDB 혹은 AOF 기반 데이터 저장이 파일에 데이터를 기록하는 것이기에 성능을 저하시킵니다. 따라서 Master 노드에서는 서비스만 하고 Slave 에서 백업하는 형태로 사용합니다.

• RDB(Snapshot)
  • 주기적으로 Redis RDB Dump 포맷에 맞춰 Fork를 떠서 자식 프로세스를 full scan하여 디스크에 저장합니다(Snapshot). 
  • "SAVE", "BGSAVE"의 차이는 BG의 경우 백그라운드에서 진행하나 SAVE의 경우 모든 작업을 멈추고 RDB 파일을 생성하기에 해당 시간동안은 서비스를 할 수 없음.
• AOF(Append On File)
  • 모든 레코드의 수정 내역을 append-only file에 백그라운드 프로세스로 기록하는 방법
  • 매 트랜잭션을 logging하기에 데이터의 양이 많아질 수 있으나 데이터 손실이 없으며 항상 최신 데이터를 디스크에 백업 가능.
  • 이때, AOF 파일이 일정 크기 이상되면, 현재 메모리를 RDB 방식으로 덤프하고 AOF 파일을 새로 작성함.
  • 여기서, 서버가 재시작될 때 백업된 스냅샷을 reload하고 AOF의 로그를 replay 하기에 주기적으로 스냅샷을 하는 것이 중요함.

3.4 트랜잭션 지원

• WATCH / MULTI / EXEC 등의 명령어를 기반으로 optimistic lock 기반 트랜잭션을 지원함.
  • MULTI: 트랜잭션 시작
  • DISCARD: 트랜잭션 취소
  • EXEC: 트랜잭션 커밋
  • WATCH: 특정 key의 변경 여부 감시
  • UNWATCH: watch 취소

3.5 Pub/Sub 지원

• Redis는 메시징 솔루션으로 pub/sub을 지원함.
• 메시지들을 queue로 관리하지 않고, publich하는 시점 기준으로 미리 subscribe 등록 대기 중인 클라이언트들을 대상으로만 메시지를 전달함.

4. 추가적으로 찾아보면 좋은 개념

• 부하 분산 -> Constant Hashing
• Data Grid -> Spring Gemfire, Hazlecast
• Redis 실사용: https://www.digitalocean.com/community/cheatsheets/how-to-run-transactions-in-redis

 

참고

• [DB Engines Ranking] Redis: https://db-engines.com/en/system/Redis
• [Blog] Memcached vs Redis, Which One to Pick?: https://www.linkedin.com/pulse/memcached-vs-redis-which-one-pick-ranjeet-vimal/
• [Blog] Redis 아키텍쳐: https://azderica.github.io/01-db-nosql-redis/
• [Blog] Memcached vs Redis 특징 비교: https://luran.me/359
• [redis] cache vs session store: https://redis.com/blog/cache-vs-session-store/
• [Blog] Memcached, Redis: https://brownbears.tistory.com/m/43