[Fusion] Sensor Fusion in Self Driving Car (Camera, LiDAR)

💡 본 문서는 'Sensor Fusion in Self Driving Car(Camera, LiDAR)'에 대해 정리해놓은 글입니다.
카메라는 신호등의 색상을 볼 수 있어 Classification, Lane Detection에 사용됩니다. LiDAR는 SLAM(Simultaneous Localization And Mapping) 및 Depth Estimation(예: 물체의 정확한 거리 추정) 에 좋습니다 . 마지막으로 RADAR 에는 물체의 속도를 측정할 수 있습니다. 본문에서는 LiDAR와 RADAR의 데이터를 혼합하여 더욱 정교한 데이터를 얻는 Sensor Fusion에 대해서 살펴보도록 하겠습니다.

Sensor Data & Fusion

인식 단계에서는 환경을 이해하기 위해 LiDAR, RADAR 및 카메라의 조합을 사용하는 것이 매우 일반적입니다. 이 3가지 센서는 모두 장단점이 있으며 모두 사용하면 모든 장점을 누릴 수 있습니다.

• Camara: 물체를 분류 하고 장면을 이해하는 데 탁월합니다.
• LiDAR: Time-Of-Flight 센서이기 때문에 거리를 추정하는 데 탁월합니다 .
• RADAR: 장애물의 속도를 직접 측정할 수 있습니다.

이 기사에서는 LiDAR와 카메라를 융합하여 카메라의 해상도, 컨텍스트를 이해하고 객체를 분류하는 기능을 활용하는 방법과 LiDAR 기술을 활용하여 거리를 추정하고 3D로 세상을 보는 방법을 배웁니다.

Camera — A 2D Sensor

카메라는 경계 상자, 차선 위치, 신호등 색상, 교통 표지판 및 기타 여러 가지를 출력하는 데 사용되는 잘 알려진 센서입니다. 모든 자율주행차에서 카메라는 절대 빠질 수 없습니다.

이 2D 센서를 LiDAR와 같은 3D 센서와 함께 어떻게 사용할 수 있을까?

LiDAR —A 3D Sensor

LiDAR는 Light Detection And Ranging의 약자입니다. 포인트 클라우드 세트를 출력하는 3D 센서입니다. 각각은 (X,Y,Z) 좌표를 가집니다. 또한 3D 데이터에서 많은 응용 프로그램을 수행할 수 있습니다. 여기에는 실행 중인 기계 학습 모델과 신경망이 포함됩니다. 다음은 출력 예입니다.

이 3D 센서를 카메라와 같은 2D 센서와 함께 사용하는 방법에 대해 알아보도록 하겠습니다.

Sensor Fusion Algorithms

Sensor Fusion 알고리즘은 상당히 많으며, 이를 크게 분류하는 방법에는 세 가지가 있습니다.

• By Abstraction Level - "When" is the fusion happening?
• By Centralization Level - "Where" is the fusion happening?
• By Competition Level - "What" is the fusion doing?

자세한 내용은 문서를 참조하십시오 .

" 무엇 "은 분명합니다. 우리는 경쟁과 중복성을 목표로 삼고 있습니다. " 어디서 "는 별로 중요하지 않으며 많은 솔루션이 가능합니다. " 때 "로 남아 있습니다...

"When"을 기준으로 Sensor Fusion을 분류하면? 두 가지 프로세스가 있습니다.

• Early fusion  - 원시 데이터(픽셀 및 포인트 클라우드) 융합.
• Late fusion  - LiDAR 및 카메라의 bounding box 융합.

Early Sensor Fusion - Fusing the Raw Data(low-level)

Early Sensor Fusion은 센서의 원시 데이터를 융합하는 것입니다. 따라서 센서가 연결되는 즉시 발생합니다.

가장 쉽고 일반적인 접근 방식은 LiDAR 포인트 클라우드(3D)를 2D 이미지에 투영하는 것입니다. 그런 다음 포인트 클라우드가 카메라로 감지된 2D 경계 상자에 속하는지 여부를 확인합니다.

1. Point Cloud Projection in 2D

첫 번째 아이디어는 LiDAR 프레임의 3D 포인트 클라우드에서 카메라 프레임의 2D 프로젝션으로 변환하는 것입니다. 이를 위해 다음과 같은 기하학적 원리를 적용합니다(입력 포인트 클라우드는 LiDAR 프레임/유클리드 좌표에 있습니다.)

각 3D LiDAR 점을 동차 좌표 로 변환합니다 .

변환된 점의 투영 방정식 (변환 및 회전)을 적용하여 이 점을 liDAR 프레임에서 카메라 프레임으로 변환합니다.

마지막으로 점을 다시 유클리드 좌표로 변환합니다.

1단계 결과는 다음과 같습니다.

2. Object Detection in 2D

다음 부분은 카메라로 물체를 감지하는 것입니다. YOLOv4와 같은 알고리즘이 객체 감지를 수행할 수 있으므로 해당 부분에 대해 너무 자세히 설명하지 않겠습니다. 이에 대한 자세한 내용은 내 YOLOv4 연구 리뷰를 읽을 수 있습니다 .

3. ROI Matching

마지막 부분은 Region of Interest(ROI)라고 합니다. 각 경계 상자 내부의 데이터를 융합하기만 하면 됩니다.

• 각 경계 상자에 대해 카메라는 classification를 제공
• 각 LiDAR 투영 지점에 대해 매우 정확한 거리가 있습니다.

여기서 한 가지 질문이 발생할 수 있습니다. 어느 지점을 거리로 선택해야 할까요?

• 모든 포인트의 평균값?
• 중앙값?
• 중심점?
• 가장 가까운?

선택한 점이 다른 경계 상자에 속하면 어떻게 됩니까? 아니면 배경으로? 이것은 까다로운 과정입니다. 2D 장애물 감지를 사용할 때 이 문제가 발생합니다. 따라서 포인트를 픽셀과 정확히 일치시키므로 세분화 방식이 더 나을 수 있습니다.

Late Sensor Fusion - Fusing the Results

Late Sensor Fusion은 독립적인 탐지 후 결과를 융합하는 것입니다.

우리가 생각할 수 있는 한 가지 접근 방식은 독립적인 탐지를 실행하고 양쪽 끝에 3D 경계 상자를 가져와 결과를 융합하는 것입니다.

또 다른 접근 방식은 독립적인 탐지를 실행하고 양쪽 끝에서 2D 경계 상자를 얻은 다음 결과를 융합하는 것입니다.

따라서 우리에게는 두 가지 가능성이 있습니다. 2D 또는 3D에서 퓨전을 수행합니다.

1. 3D Obstacle Detection (LiDAR)

LiDAR를 이용하여 3차원에서 장애물을 찾는 과정은 잘 알려져 있다. 두 가지 접근 방식이 있습니다.

• Naive approaches, using unsupervised 3D Machine Learning
• Deep Learning approaches, using algorithms such as RANDLA-NET

2. 3D Obstacle Detection (Camera)

이 프로세스는 특히 monocular camera를 사용할 때 훨씬 더 어렵습니다. 3D에서 장애물을 찾으려면 프로젝션 값(intrinsic and extrinsic calibration)을 정확히 알고 딥 러닝을 사용해야 합니다. 올바른 경계 상자를 얻으려면 차량의 크기와 방향을 아는 것도 중요합니다. 관련 내용에 대해 궁금하다면 '3D Bounding Box Estimation Using Deep Learning and Geometry'를 참고하시기 바랍니다.

3. IOU Matching: 공간에서 IOU 매칭(mid-level sensor fusion)

CAMERA와 LiDAR를 Matching하는 방법은 간단하며, 경계 상자가 2D 또는 3D에서 겹치면 해당 장애물이 동일한 것으로 간주합니다.

다음은 3D Iou-Net(2020) 논문에서 가져온 예입니다.

이 아이디어를 사용하여 우리는 공간에 있는 물체를 연결할 수 있으므로 서로 다른 센서 간에 연결을 수행할 수 있습니다.

위의 IOU Matching 방법은 Mid-level Sensor Fusion에 해당하며, High level Sensor Fusion은 Mid-level Sensor Fusion에 추적이 포함합니다. 추가로, Time Tracking을 추가하려면 Time Association이라는 과정이 필요합니다.

IOU Matching in Time

Kalman Filter와 Hungarian algorithm을 사용하여 프레임에서 프레임으로 개체를 시간에 Association하여, 프레임 사이의 개체를 추적하고 다음 위치를 예측할 수도 있습니다.

IOU 매칭의 원리는 프레임 1에서 프레임 2까지의 경계 상자가 겹치는 경우 이 장애물을 동일한 것으로 간주합니다.

여기에서는 경계 상자 위치를 추적하고 IOU(Intersection Over Union)를 메트릭으로 사용합니다. 경계 상자의 개체가 동일한지 확인하기 위해 Deep Convolutional 기능을 사용할 수도 있습니다. 이 프로세스를 SORT(Simple Online Realtime Tracking) 또는 Convolutional 기능을 사용하는 경우 Deep SORT라고 합니다.

우리는 공간과 시간에 있는 물체를 추적할 수 있기 때문에 정확히 동일한 알고리즘을 사용하여 이 접근 방식에서 높은 수준의 센서 융합을 수행할 수도 있습니다.

Conclusion

센서 융합 프로세스는 서로 다른 센서(여기서는 LiDAR와 카메라)의 데이터를 융합하는 것이며, LiDAR와 카메라 Fusion 시점에 따라  두 가지 접근 방식이 있습니다.

• Early fusion (low-level): 원시 데이터를 융합하는 것
  • 포인트 클라우드와 픽셀 또는 상자 간의 연관성
• Late fusion : 물체를 융합하는 것(mid-level) or 궤도를 융합하는 것(high-level)
  • bounding box 간의 연결을 수행하고 헝가리 알고리즘 및 Kalman 필터와 같은 알고리즘을 사용

참고

• [Blog] LiDAR and Camera Sensor Fusion in Self-Driving Cars: https://www.thinkautonomous.ai/blog/lidar-and-camera-sensor-fusion-in-self-driving-cars/
• [Blog] Sensor Fusion - LiDARs & RADARs in Self-Driving Cars: https://www.thinkautonomous.ai/blog/sensor-fusion/
• [Blog] 9 Types of Sensor Fusion Algorithms: https://www.thinkautonomous.ai/blog/9-types-of-sensor-fusion-algorithms/