[Vision] LiDAR 라이다 센서의 구동방식 및 특징

💡 본 문서는 'LiDAR 라이다 센서의 구동방식 및 특징'에 대해 정리해놓은 글입니다.
로봇이나 자율주행 자동차 등 Mobile Robot을 구동하기 위해 필요한 LiDAR 라이다 센서와 그 원리에 대해 자세히 정리하였으니 참고하시기 바랍니다.

1. LiDAR  —  A 3D Light Sensor

1.1. LiDAR 특징

LiDAR 센서는 빛과 함께 작동합니다. LiDAR는 Light Detection And Ranging의 약자입니다. 최대 300m의 장애물을 감지하고 위치를 정확하게 추정할 수 있습니다. 자율주행차에서 위치 추정을 위한 가장 정확한 센서입니다.

LiDAR 센서는 레이저 방출 (위)과 레이저 수신 (아래)의 두 부분으로 구성됩니다. 방출 시스템은 레이저 빔 레이어를 활용하여 작동합니다. 레이어가 많을수록 LiDAR가 더 정확해집니다. 위 이미지에서 레이어가 많을수록 센서가 커지는 것을 볼 수 있습니다.

이 레이저가 장애물에 부딪히면 일련의 포인트 클라우드를 생성합니다. 센서는 TOF(Time of Flight)와 함께 작동하며, 이를 이용하여 레이저 빔이 반사되어 돌아오는 데 걸리는 시간을 측정합니다.

LiDAR 센서는 레이져의 모든 충돌 지점의 (X,Y,Z) 위치를 가져오며, Layer를 쌓아서 만든 point cloud는 공간 정보를 보여줍니다. 

LiDAR는 독립형 센서로 거의 사용되지 않으며, Sensor Fusion이라는 프로세스에서 카메라 또는 RADAR와 결합되는 경우가 많습니다.

• [Vision] Sensor Fusion in Self Driving Car (Camera, LiDAR)
• [Vision] Sensor Fusion in Self Driving Car(LiDAR, RADAR) 

1.2. LiDAR 장단점

LiDAR 장점

• 장애물의 위치를 ​​정확하게 예측

LiDAR 단점

• 속도를 직접 추정할 수 없음
  • 이를 위해 두 개의 연속 측정값 간의 차이를 계산해야 함
  • 반면, RADAR는 도플러 효과 덕분에 속도를 추정할 수 있음
• 악천후에서는 LiDAR가 제대로 작동하지 않 
  • e.g. 안개가 낀 경우, 레이저가 안개를 인식하기도 함
• 외부에 노출되어야 하기에, 외관상 예쁘지 않음
• 무엇보다 가격이 비쌈

2. LiDAR —  Object Detection Process

LiDAR를 사용하여 "객체 감지"를 수행하는 두 가지 주요 방법이 있습니다.

• Using Unsupervised Machine Learning techniques
• Using 3D Deep Learning

여기서는 LiDAR에 대해 명확히 알기 위해서는 첫 번째 접근 방식이 더욱 유익하기에, 본 문에서는 첫 번째 방식에 대해 자세히 살펴보겠습니다. 이 경우, Object Detection을 위해선 일반적으로 4단계를 거처야 합니다.

1. Point cloud processing
2. Point cloud Segmentation
3. Obstacle clustering
4. Bounding box fitting

2.1. Point Cloud Processing — Voxel Grid

첫 번째 작업인 'Point Cloud Processing'에서의 주요 과제는 포인트 클라우드를 로드하고 다운샘플링하는 것입니다.

이를 위해서는 포인트 클라우드를 처리하기 위해 PCL(포인트 클라우드 라이브러리) 이라는 포인트 클라우드를 처리하기 위한 라이브러리를 사용할 수 있습니다 . Python에서 사용할 수 있지만, 로봇 공학에 더 적합한 언어인 C++을 사용하는 것이 더 합리적입니다. ROS (Robotic OS) 와도 호환됩니다 .

PCL 라이브러리는 포인트 로드에서 알고리즘 실행에 이르기까지 장애물을 감지하는 데 필요한 대부분의 계산을 수행할 수 있습니다. 이 라이브러리는 OpenCV와 동등한 컴퓨터 비전 라이브러리 입니다.

해당 라이브러리를 사용하여 다운샘플링을 할 수 있으며, 해당 문서에서는 'Voxel Grid', 'ROI(Region of Interest)' 라는 두 가지 과정을 통해 다운샘플링을 진행합니다.

Voxel Grid

Voxel Grid는 큐브당 하나의 포인트만 남겨 포인트 클라우드를 필터링하는 개념으로, LiDAR의 출력은 초당 100,000포인트가 될 수 있는 LiDAR 데이터를 다운샘플링하기 위해 사용합니다. 따라서 큐브가 클수록 포인트 클라우드의 최종 해상도는 낮아지며, 연산량을 줄일 수 있습니다.

ROI(Region of Interest)

우리가 수행할 수 있는 두 번째 작업은 ROI(Region of Interest)입니다. 예를 들어 '측면에서 10미터', '전방에서 100미터'와 같이 특정 영역의 일부가 아닌 모든 지점을 간단히 제거합니다.

이제 다운샘플링을 진행한 포인트 클라우드가 있으므로 Segmentation에 대해 살펴보겠습니다.

2.2. 3D Segmentation - RANSAC

포인트 클라우드를 처리하는 과정에서의 Segmentation 작업은 장면을 그 안의 장애물과 분리하는 것입니다.

RANSAC

Segmentation에 가장 많이 사용되는 방법은 RANSAC(RANdom Sample Consensus) 입니다. 해당 알고리즘의 목표는 일련의 점에서 outliers(이상치)을 식별하는 것입니다.

https://www.udacity.com/course/sensor-fusion-engineer-nanodegree--nd313

위 포인트 클라우드에서 이상치를 제거하기 위해서는 Linear Regression으로 접근할 수 있으며, 의미있는 feature를 사용하여 그래프를 그리면 Linear Regression을 통해 얻은 성분을 제외한 이상값을 장애물로 간주할 수 있습니다.

https://www.udacity.com/course/sensor-fusion-engineer-nanodegree--nd313

Linear Regression Process

Linear Regression 프로세스는 다음과 같습니다.

• 무작위로 2점 선택
• 선형 모델을 이 점에 맞춥니다.
• 다른 모든 점에서 적합선까지의 거리를 계산합니다. 거리 공차 라는 매개변수를 사용하여, 거리가 정의된 거리 허용 오차 내에 있으면 점을 inliers 목록에 추가합니다.

결국 가장 많은 inliers가 있는 반복이 모델로 선택됩니다. 나머지는 이상치입니다. 이렇게 하면 모든 inlier를 도로의 일부로 간주하고 모든 이상값을 장애물의 일부로 간주할 수 있습니다.

RANSAC은 3D에서도 작동합니다. 이 경우 3점 사이의 평면이 알고리즘의 기본이 됩니다. 그런 다음 점에서 평면까지의 거리가 계산됩니다. 다음은 포인트 클라우드에 대한 RANSAC 알고리즘의 결과입니다. 빨간색 영역은 차량을 나타내고 그라운드는 녹색입니다.

RANSAC은 포인트 클라우드 세분화를 위한 매우 강력하고 간단한 알고리즘입니다. 같은 모양에 속하는 점과 그렇지 않은 점을 찾으려고 합니다. 그런 다음 클라우드를 분리할 수 있습니다.

2.3. Clustering — Euclidean & KD Tree

RANSAC의 출력은 장애물 지점 목록과 도로 지점 목록 입니다 . 이를 통해 각 장애물에 대해 독립적인 클러스터를 정의할 수 있습니다.

클러스터링은 거리에 따라 포인트 그룹을 분리하는 기술입니다. 몇 가지 눈에 보이는 장애물이 있는 위의 이전 이미지를 고려하십시오. 실제로 여러 대의 자동차가 있고 장애물당 하나의 색상을 설정한다는 것을 자체적으로 이해하는 알고리즘이 필요합니다.

Clustering Process

클러스터링은 k-mean(가장 많이 사용됨), DBScan, HDBScan 등을 포함하는 기계 학습 알고리즘 제품군입니다. 간단히 유클리드 클러스터링을 사용하여 점 사이의 유클리드 거리를 계산할 수 있습니다.

프로세스는 다음과 같습니다.

• 2개의 점, 대상 및 현재 점 선택
• 대상과 현재 지점 사이의 거리가 거리 허용 범위 내에 있으면 현재 지점을 클러스터에 추가합니다.
• 그렇지 않은 경우 다른 현재 지점을 선택하고 반복합니다.

클러스터링 알고리즘은 거리 허용 오차 , 최소 클러스터 크기 및 최대 클러스터 크기를 입력으로 사용합니다 . 이런 식으로 우리는 "고스트 장애물"(공간의 한 지점에 아무 이유 없이 하나의 단일 포인트 클라우드)을 필터링하고 닫힌 장애물의 거리를 정의할 수 있습니다.

Computations & KD Tree

위 기술의 문제점은 LiDAR 센서가 100,000개의 포인트 클라우드를 출력할 수 있다는 것입니다. 그것은 100,000 유클리드 거리 계산을 의미합니다. 모든 단일 지점에 대한 거리 계산을 피하기 위해 KD 트리를 사용할 수 있습니다.

KD 트리는 트리에서 XY 위치별로 포인트를 정렬하는 검색 알고리즘입니다. 일반적인 아이디어 — 점이 정의된 거리 허용 범위 내에 있지 않으면 x 또는 y가 더 큰 점은 반드시 이 거리 내에 있지 않을 것입니다. 이렇게 하면 모든 단일 지점에 대한 계산에 대해 걱정할 필요가 없습니다.

https://www.udacity.com/course/sensor-fusion-engineer-nanodegree--nd313

하단의 주황색 점이 거리 허용 한계 미만이 아닌 위의 시나리오를 살펴보십시오. 이 주황색 점의 오른쪽에 있는 모든 점을 제거할 수 있습니다. 허용 오차 임계값 내에 있지 않을 것이 확실하기 때문입니다. 그런 다음 다른 점을 잡고 거리를 계산하고 반복할 수 있습니다.

KD 트리는 계산에 적합합니다. 유클리드 계산의 수가 크게 줄어듭니다. 클러스터링 알고리즘과 결합하여 독립적인 장애물을 효율적으로 얻을 수 있는 강력한 도구입니다.

2.4. Bounding Boxes

최종 목표는 각 클러스터 주위에 3D 경계 상자를 만드는 것입니다. 이 부분은 특별히 어렵지는 않지만 장애물의 크기에 대한 가정을 합니다. 분류를 하지 않았기 때문에 경계 상자를 포인트에 맞춰야 합니다. 이를 위해서는 주성분 분석(PCA) 알고리즘을 사용하면 합니다 .

2D 경계 상자의 PCA

PCA를 사용하여 포인트 클라우드에 정확히 일치하는 경계 상자를 그릴 수 있습니다. 예를 들어 감지가 부분적으로만 이루어지는 주차된 차량에 도움이 됩니다. 위에서 설명한 3가지 기술을 모두 결합하여 LiDAR 포인트 클라우드에서 구축된 장애물 감지 알고리즘을 갖게 되었습니다!

 

참고

• [Blog] How LiDAR Object Detection Works: https://www.thinkautonomous.ai/blog/how-lidar-detection-works/
• [Blog] How RADARs work - A look at Radio Detection And Ranging: https://www.thinkautonomous.ai/blog/how-radars-work/