[Vision] 모델 성능 평가(Metric): Depth Estimation - AbsRel, SqRel, RMSE, log RMSE, Accuracy under threshold(δ), ...

💡 본 문서는 'Depth Estimation의 평가 지표 (Metric)'에 대해 정리해놓은 글입니다.
이번 글에서는 Depth Estimation 논문에서 성능 지표로 사용하는 metric에 대하여 간략하게 알아보도록 하겠습니다.주로 사용하는 metric은 Absolute Relative Error(AbsRel), Square Relative Error(SqRel), Root Mean Square Error(RMSE), log scale RMSE(RMSE log), Accuracy under a threshold(δ, 1.25) 입니다. 위 metric은 Regression 모델을 평가하는 지표이며 각 지표의 의미는 아래와 같습니다. 위 metric은 Regression 모델을 평가하는 지표이며 각 지표의 의미는 아래에 상세히 정리하였으니 참고하시기 바랍니다.

1. Depth Estimation Metrics의 종류와 수식

2. Depth Estimation Metrics의 의미

Absolute Relative Error, Square Relative Error, Root Mean Square Error, log scale RMSE은 전통적으로 Regression 모델의 성능을 측정하기 위해 사용된 Metric이며 Accuracy under threshold는 Depth Estimation 모델의 Accuracy를 측정하기 위해 도입되었습니다.

Absolute/Square Relative Error

Absolute Relative Error와 Sqaure Relative Error는 L1 or L2를 사용하는지와 관련하여 차이가 존재합니다. 또한 모두 분모에 d_{p}가 적용되는데, 이렇게 정규화하는 이유는 scale의 범위에 따라서 값의 크기가 많이 달라질 수 있기 때문에 0 ~ 1 사이에 값으로 정규화하는 것입니다. Depth Estimation의 출력 특성 상 거리값이 커질수록 에러가 커지기 때문에 거리 값의 범위가 달라지면 에러값의 크기가 완전히 달라지기에 주의해야 합니다.

Depth Estimation에서 두 Metric을 사용할 때, Absolute Relative Error는 모든 영역에 대한 전반적인 성능을 확인하고, Square Relative Error의 경우에는 한계 상황에 대한 열악함 정도를 확인할 때 사용합니다. 한계 상황에서 에러가 크게 발생하기 때문에 좀 더 큰 페널티가 적용한 상태로 계산되기 때문입니다. 한계 상황의 대표적인 예시는 원거리 영역과 객체와 배경의 경계 영역입니다.

Root Mean Square Error와 log scale RMSE

Root Mean Squre Error (RMSE)와 log scale RMSE은 각 dp, ^dp에 log가 적용된 것 외에는 차이가 없습니다.

log scale RMSE는 Absolute Relative Error와 유사한 성향이 있고 RMSE는 Square Relative Error와 유사한 성향이 있기 때문입니다. 즉, log scale RMSE를 통해 전반적인 성능을 관측할 수 있고 RMSE를 통해 이상치 즉, Depth Estimation에서의 한계 상황에 대한 성능을 좀 더 명확하게 확인할 수 있습니다.

좀 더 수식적으로 확인해보면, RMSE는 앞에서 다룬 Square Relative Error와 유사하지만 Relative 값이 아닌 값 그대로 에러값을 구하는 데 사용합니다. 이 경우 이상치에 민감한 문제가 발생하므로 그 문제를 일부 개선하기 위하여 Root를 적용합니다. 반면에 log scale RMSE는 원본 값에 log를 적용하여 값의 범위에 민감하지 않도록 만든 후 RMSE를 적용합니다. 이와 같은 방식을 이용하여 이상치에 강건해지고 기존 값의 범위가 아닌 log 값의 범위에서 에러를 계산함으로써 log 값의 범위에서 상대적인 비교를 할 수 있습니다. 따라서 모델 별 log scale RMSE의 값을 비교하면 값의 변동이 상대적으로 작은 것을 확인할 수 있습니다.

Accuracy under threshold

Accuracy는 라이다 포인트 클라우드를 이용하여 만든 sparse depthmap GT와 Depth Estimation 모델을 통해 얻은 dense depthmap prediction 간의 Accuracy를 측정하는 것을 의미합니다. 편의를 위하여 ^dp 와 dp 중 큰 값을 분자, 작은 값을 분모에 두어 둘 중 큰 값을 얻도록 합니다. 즉, 예측값과 정답값 중 큰 값과 작은 값의 비율을 나타냅니다.

이 때, 비율이 threshold 값인 δ 보다 작으면 True Positive로 간주합니다. Depth Estimation에서는 전통적으로 δ 값을 δ1=1.25, δ^2=1.25^2=1.5625, δ^3=1.25^3=1.953125로 정의합니다.

이 값의 범위를 5(m) ~ 100 (m) 까지 이해하기 쉽게 표로 정리하면 다음과 같으며, 우측 표는 δ의 값을 1.1, 1.15, 1.2로 변경하였을 때의 범위를 정리하였습니다.

Depth의 크기가 커질수록 오차 범위도 커지는 것을 알 수 있습니다. 이것은 Depth Estimation의 Depth가 커질수록 정밀한 예측이 어렵다는 Task 자체의 한계를 반영한 것입니다.

3. Depth Estimation Metrics: Pytorch Code

지금까지 설명한 7가지의 대표적인 Depth Estimation의 Metric의 계산 과정을 소개하면 아래 코드와 같습니다.

def compute_depth_errors(gt, pred):   

    abs_rel = torch.mean(torch.abs(gt - pred) / gt)

    sq_rel = torch.mean((gt - pred) ** 2 / gt)
    
    rmse = (gt - pred) ** 2
    rmse = torch.sqrt(rmse.mean())

    rmse_log = (torch.log(gt) - torch.log(pred)) ** 2
    rmse_log = torch.sqrt(rmse_log.mean())


    delta = torch.max((gt / pred), (pred / gt))
    a1 = (delta < 1.25     ).float().mean()
    a2 = (delta < 1.25 ** 2).float().mean()
    a3 = (delta < 1.25 ** 3).float().mean()

    return abs_rel, sq_rel, rmse, rmse_log, a1, a2, a3

참고

• [Blog] Depth Estimation의 평가 지표 (Metric): https://gakussian37.github.io/vision-depth-metrics/
• [Blog] All about Depth Estimations Metrics: https://kalelpark.tistory.com/203
• 참조 : http://ylatif.github.io/papers/IROS2016_ccadena.pdf
• 참조 : https://medium.com/analytics-vidhya/mae-mse-rmse-coefficient-of-determination-adjusted-r-squared-which-metric-is-better-cd0326a5697e
• 참조 : https://towardsdatascience.com/ways-to-evaluate-regression-models-77a3ff45ba70
• 참조 : https://towardsdatascience.com/what-does-rmse-really-mean-806b65f2e48e
• 참조 : https://www.analyticsvidhya.com/blog/2021/10/evaluation-metric-for-regression-models/