[CV] Glare Removal 알고리즘 정리

💡 본 문서는 'Glare Removal 알고리즘 정리'에 대해 정리해놓은 글입니다.
과도하고 조절되지 않는 밝기로 인해 발생하는 Glare한 표면은 영상에서 제거하고 싶은 경우가 종종있습니다. 이를 제거하는 방법을 개념과 코드 수준으로 자세히 정리하였으니 참고하시기 바랍니다.

1. Glare Removal

Glare?

Glare는 과도하고 조절되지 않는 밝기로 인해 발생하는 시각적 감각입니다. 그것은 주관적이고 눈부심에 대한 민감성은 매우 다양할 수 있습니다. 노인들은 보통 눈의 노화된 특성 때문에 눈부심에 더 민감합니다.

Glare Detection

1) Threshold based

일반적으로 Glare가 존재할 때 픽셀 값이 180보다 높기 때문에 우리는 전역 이진화를 사용하여 쉽게 식별 할 수 있습니다.

def create_mask(image):
    gray = cv2.cvtColor( image, cv2.COLOR_BGR2GRAY )
    blurred = cv2.GaussianBlur( gray, (9,9), 0 )
    _,thresh_img = cv2.threshold( blurred, 180, 255, cv2.THRESH_BINARY)
    thresh_img = cv2.erode( thresh_img, None, iterations=2 )
    thresh_img  = cv2.dilate( thresh_img, None, iterations=4 )
    # perform a connected component analysis on the thresholded image,
    # then initialize a mask to store only the "large" components
    # labels = measure.label( thresh_img, neighbors=8, background=0 )
    labels = measure.label( thresh_img, connectivity=2, background=0 )
    mask = np.zeros( thresh_img.shape, dtype="uint8" )
    # loop over the unique components
    for label in np.unique( labels ):
        # if this is the background label, ignore it
        if label == 0:
            continue
        # otherwise, construct the label mask and count the
        # number of pixels
        labelMask = np.zeros( thresh_img.shape, dtype="uint8" )
        labelMask[labels == label] = 255
        numPixels = cv2.countNonZero( labelMask )
        # if the number of pixels in the component is sufficiently
        # large, then add it to our mask of "large blobs"
        if numPixels > 300:
            mask = cv2.add( mask, labelMask )
    return mask

1. 이미지를 그레이스케일로 변환
2. 가우시안 행렬(9x9)을 사용하여 이미지를 블러링하여 노이즈 감소
3. 글로벌 임계값 방법에서 임계값을 180으로 설정 -> 픽셀 값이 180 이상이면, 흰색
4. small blobs of noise 제거하고자 모폴로지 팽창, 침식 연산(erosion, dilations) 수행
   • 모폴로지 팽창/침식 연산 관련 내용 참고: https://deep-learning-study.tistory.com/226
5. Connected Component Labeling: sikit-image 라이브러리 내 image.measure.labels
6. 마스크(Mask) 생성: numPixel이 미리 정의된 임계값(이 경우, 300 픽셀)을 초과하면 blob을 "충분히 크다"고 간주하여 마스크로 지정

Threshold based Result

Glare Removal Algorithms: Inpainting method

Image Inpainting은 이미지에서 누락된 영역을 재구성하는 작업입니다. 이는 컴퓨터 비전에서 중요한 문제이며 객체 제거, 이미지 복원, 조작, 재표적, 합성 및 이미지 기반 렌더링과 같은 많은 이미징 및 그래픽 애플리케이션에서 필수적인 기능입니다.

1) OpenCV: Naiver-Stokes method, Fast Marching method

OpenCV에서는 Naiver-Stokes method(NS), Fast Marching method(Telea) 방식을 지원합니다. 아래에서 해당 Method에 대해 자세히 설명해두긴 하였으나, CPU 연산이라 그런지 매우 느리며 그리 추천하지는 않습니다.

Naiver-Stokes method

Image intensities of the region can be updated using the partial differential equation, and the smoothness of the image can be calculated by the image Laplacian (The Laplacian is a 2-D isotropic measure of the 2nd spatial derivative of an image. The Laplacian of an image highlights regions of rapid intensity change and is therefore often used for edge detection (see zero-crossing edge detectors). The Laplacian is often applied to an image that has first been smoothed with something approximating a Gaussian smoothing filter in order to reduce its sensitivity to noise, and hence the two variants will be described together here. The operator normally takes a single gray-level image as input and produces another gray-level image as output)

Laplacian and partial differential equations can be used to preserve the edges and continue to propagate colour information in smooth regions. This is one of the methods to do image inpainting.

• Ref(Paper): Navier-Stokes, Fluid Dynamics, and Image and Video Inpainting - https://www.math.ucla.edu/~bertozzi/papers/cvpr01.pdf

Fast Marching method

a weighted average over a known image neighbourhood of the pixel is used for image smoothness to inpaint. The known neighbourhood pixels and gradients are used to estimate the colour of the pixel to be inpainted.

• Ref(Paper): An Image Inpainting Technique Based on the Fast Marching Method -  https://www.semanticscholar.org/paper/An-Image-Inpainting-Technique-Based-on-the-Fast-Telea/67d0cb47d14150daff08980efbea9f1267d3a4e5

We can use any of the above algorithms to inpaint.

How to use in OpenCV python

dst = cv2.inpaint(src, inpaintMask, inpaintRadius, flags)

• src → The input glared image
• dst → Output image
• inpaintMask →A binary mask indicating pixels to be inpainted.
• inpaintRadius →Neighborhood around a pixel to inpaint.
• flags → INPAINT_NS,(Navier-Stokes based method) or INPAINT_TELEA (Fast marching based method)

예제 및 활용

result1 = cv2.inpaint(img, mask, 101, cv2.INPAINT_TELEA)

When we select the inpaintRadius, if the regions to be inpainted are thin, smaller values produce better results (less blurry).

OpenCV Result: Naiver-Stokes method, Fast Marching method

2) Inpainting SOTA: e.g. co-mod-gan

SOTA 논문 및 코드는 대체로 paperwithcode에서 찾아보려고 합니다. Image Inpainting 분야의 outdoor 환경에서의 benchmark에는 Place2를 많이 사용하는 것 같고 이 중 유명한데 코드가 잘 돌아가는 것을 기준으로 테스트 논문(co-mod-gan)을 정하였습니다.

• Source: High-Resolution Image Inpainting with Iterative Confidence Feedback and Guided Upsampling
• Image source: High-Resolution Image Inpainting with Iterative Confidence Feedback and Guided Upsampling

상당히 빠른 속도로 처리할 수 있으나, 대체로 Inpainting 분야는 512 x 512 사이즈를 최대로 지원하기에 이미지를 크롭하여 인풋으로 넣는 것을 추천합니다.

• Ref: [paperwithcode] image inpainting - https://paperswithcode.com/task/image-inpainting

Inpainting SOTA Result: e.g. co-mod-gan

• [Github] DrawingProcess/co-mod-gan-pytorch: https://github.com/DrawingProcess/co-mod-gan-pytorch

참고

• [Blog] Glare removal With Inpainting[OpenCV Python]: https://rcvaram.medium.com/glare-removal-with-inpainting-opencv-python-95355aa2aa52
• [Github] awesome-reflection-removal: https://github.com/ChenyangLEI/awesome-reflection-removal
• [paperwithcode] image inpainting: https://paperswithcode.com/task/image-inpainting
• [Github] DrawingProcess/co-mod-gan-pytorch: https://github.com/DrawingProcess/co-mod-gan-pytorch