[Data] Segmentation 데이터 압축 알고리즘: Run Length Encoding(RLE) - coco mask to rle와 rle to mask 검증까지

💡 본 문서는 '[Data] Segmentation 데이터 압축 알고리즘: Run Length Encoding(RLE) - coco mask to rle와 rle to mask 검증까지'에 대해 정리해놓은 글입니다.
Segmentation 에서 masking 데이터를 압축할때 종종 사용하는 알고리즘인 Run Length Encoding(RLE)에 대해 정리하였으며, Encoder, Decoder 알고리즘을 코드 수준에서 정리하였으니 참고하시기 바랍니다.

1. Run Length Encoding(RLE) 란?

RLE은 "Run Length Encoding"의 약자로, 이미지나 비디오 데이터를 압축하는 데 사용되는 압축 알고리즘 중 하나입니다. 이 알고리즘은 이미지에서 연속된 픽셀 값이 반복되는 경우, 그 값을 반복되는 횟수와 함께 저장하여 데이터를 압축합니다. 이를 통해 데이터 용량을 줄일 수 있습니다.

RLE Variation

이제 RLE에 대한 알고리즘 자체는 반복되는 문자열을 저장하는 것이라고 이해했을 것입니다. 하지만 이를 구현함에 있어 다양한 Variation이 있어 각 변형된 방법들에 대해 언급하도록 하겠습니다. 00111011 문자열을 압축한다고 가정하고 소개하겠습니다.

1. 3372: 1이 있는 위치를 적은 후 몇개가 연속되어 있는지를 나열
2. 2312: 0,1,0,1, .. 의 순서로 연속된 문자의 갯수를 나열

이제 각 방법의 Encoder Decoder에 해당하는 코드를 보면서 이해하도록 하겠습니다.

2. RLE Converter

1) 3372: 1이 있는 위치를 적은 후 몇개가 연속되어 있는지를 나열

mask to rle

RLE 인코딩 함수인 mask2rle는 이미지 마스크를 입력으로 받아서 RLE 형식으로 압축된 마스크를 반환

# ref.: https://www.kaggle.com/stainsby/fast-tested-rle
def mask2rle(img):
    """
    img: numpy array, 1 - mask, 0 - background
    Returns run length as string formatted
    """
    pixels = img.flatten()
    pixels = np.concatenate([[0], pixels, [0]])
    runs = np.where(pixels[1:] != pixels[:-1])[0] + 1
    runs[1::2] -= runs[::2]
    return ' '.join(str(x) for x in runs)

• 이미지 마스크를 1차원 배열로 변환
• 배열의 시작과 끝에 0을 추가
• 연속되는 값의 시작 인덱스 탐색
• 연속된 값의 길이 계산
• 길이 정보를 RLE 형식으로 변환. 시작 위치와 길이를 번갈아가면서 기록하며, 길이는 시작 위치의 차이로 표현
• RLE 형식으로 변환된 정보를 문자열로 반환

rle to mask

RLE 디코딩 함수인 rle2mask는 압축된 RLE 형식의 마스크를 입력으로 받아서 원래의 형태로 디코딩된 이미지 마스크를 반환

def rle2mask(mask_rle: str, label=1, shape=DEFAULT_IMAGE_SHAPE):
    """
    mask_rle: run-length as string formatted (start length)
    shape: (height,width) of array to return
    Returns numpy array, 1 - mask, 0 - background

    """
    s = mask_rle.split()
    starts, lengths = [np.asarray(x, dtype=int) for x in (s[0:][::2], s[1:][::2])]
    starts -= 1
    ends = starts + lengths
    img = np.zeros(shape[0] * shape[1], dtype=np.uint8)
    for lo, hi in zip(starts, ends):
        img[lo:hi] = label
    return img.reshape(shape)  # Needed to align to RLE direction

 

• RLE 형식의 마스크를 공백 문자를 기준으로 분리하여 시작 위치(starts)와 길이(lengths)를 얻음
• 시작 위치를 0부터 시작하는 인덱스로 변환하기 위해 1 빼기
• 종료 위치(ends)를 시작 위치(starts)에 길이(lengths)를 더해서 구하기
• 이미지 마스크를 나타내기 위해 지정된 모양(shape)에 맞게 0으로 초기화된 배열 생성
• 시작 위치(starts)와 종료 위치(ends)를 이용하여 마스크의 해당 영역을 1로 설정
• 최종적으로 생성된 1차원 배열을 지정된 모양(shape)으로 재구성하여 이미지 마스크를 반환합니다.

참고: https://velog.io/@hajieun02/Image-Segmentation3-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%95%95%EC%B6%95-%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98-RLE-%EC%9D%B8%EC%BD%94%EB%94%A9%EB%94%94%EC%BD%94%EB%94%A9

2) 2312: 0,1,0,1, .. 의 순서로 연속된 문자의 갯수를 나열

mask to rle

import numpy as np
from itertools import groupby

def binary_mask_to_rle(binary_mask):
    rle = {'counts': [], 'size': list(binary_mask.shape)}
    counts = rle.get('counts')
    for i, (value, elements) in enumerate(groupby(binary_mask.ravel(order='F'))):
        if i == 0 and value == 1:
            counts.append(0)
        counts.append(len(list(elements)))
    return rle

coco = COCO('/home/avs/dataset/train_exd/con2.json')

annids = coco.getAnnIds()
anns = coco.loadAnns(annids)
mask = coco.annToMask(anns[0])
rle = binary_mask_to_rle(mask)
print(rle)

rle to mask

rle segmentation count 내부에 있는 배열을 np.array 내부에 넣고 아래의 코드를 실행

from PIL import Image

enco1_arr = np.array([773632, 50, 669, 52, 668, 52, 668, 52, 668, 52, 668, 52, 668, 52, 668, 52, 667, 53, 667, 53, 667, 53, 667, 53, 667, 53, 667, 53, 667, 53, 667, 53, 667, 53, 667, 53, 667, 53, 667, 53, 667, 53, 667, 53, 667, 53, 667, 53, 666, 54, 666, 54, 666, 54, 666, 54, 666, 55, 665, 55, 665, 55, 665, 55, 665, 55, 665, 55, 665, 55, 665, 55, 665, 55, 665, 55, 665, 55, 665, 54, 667, 53, 667, 52, 668, 52, 668, 52, 669, 51, 669, 51, 670, 50, 671, 48, 673, 47, 675, 45, 677, 43, 678, 41, 679, 40, 682, 36, 684, 36, 685, 37, 683, 38, 681, 39, 681, 5, 1, 33, 681, 5, 1, 33, 681, 5, 1, 33, 681, 4, 3, 32, 688, 32, 689, 31, 693, 23, 101844, 0])
print(enco1_arr.sum())

enco1_pos = enco1_arr[0::2]
enco1_len = enco1_arr[1::2]

print(enco1_pos)
print(enco1_len)

mask_1d = np.zeros(720 * 1280, dtype=np.uint8)

start = 0
end = 0
for po, le in zip(enco1_pos, enco1_len):
    start = end + po
    end = start + le
    mask_1d[start:end]=255
print(mask_1d)

mask2d = mask_1d.reshape(720, 1280, order='F')
print(mask2d)

im = Image.fromarray(mask2d)
im.save("your_file.jpeg")

참고

• [StackOverFlow] Encode numpy array using uncompressed RLE for COCO dataset: https://stackoverflow.com/questions/49494337/encode-numpy-array-using-uncompressed-rle-for-coco-dataset
• [Kaggle] Even Faster Run Length Encoder: https://www.kaggle.com/code/hackerpoet/even-faster-run-length-encoder/script
• [StackOverFlow] How to create mask images from COCO dataset?: https://stackoverflow.com/questions/50805634/how-to-create-mask-images-from-coco-dataset
• [Github] How to convert Polygon to binary mask dynamically.: https://github.com/cocodataset/cocoapi/issues/229#issuecomment-441405898
• [Blog] Image Segmentation(3) - 데이터 압축 알고리즘 : RLE 인코딩/디코딩: https://velog.io/@hajieun02/Image-Segmentation3-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%95%95%EC%B6%95-%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98-RLE-%EC%9D%B8%EC%BD%94%EB%94%A9%EB%94%94%EC%BD%94%EB%94%A9