Study: Artificial Intelligence(AI)/AI: Data Pipeline

[Dataset] Object Detection/Segmentation Open Dataset: COCO Dataset

💡 본 문서는 '[Dataset] Object Detection/Segmentation Open Dataset: COCO Dataset '에 대해 정리해놓은 글입니다.Object Detection/Segmentation Task를 한다고 하면 가장 가본적으로 알아야 하는 데이터셋인 COCO 데이터셋에 대해 활용방법까지 정리하였으니 참고하시기 바랍니다.1. COCO 데이터셋COCO 데이터셋 구조COCO 데이터셋의 annotation은 json 형태로 되어 있으며, 기본적인 구조는 다음과 같은 필수적인 키를 가져야 합니다.'images': [ { 'file_name': 'COCO_val2014_000000001268.jpg', 'height': 427, 'widt..

[Data] Python 이미지 여백 지우기 (numpy, mask, ...)

💡 본 문서는 'Python 이미지 여백 지우기 (numpy, mask, ...)'에 대해 정리해놓은 글입니다.이미지 자체의 여백을 없애거나 이미지를 병합하는 과정에서 생긴 여백을 지우고 싶은 경우, 다음의 코드를 참고하여 후처리를 진행하시면 되니 참고하시기 바랍니다.검은색 여백 제거하기def crop_image_only_outside(img,tol=0): # img is 2D image data # tol is tolerance mask = img > tol if img.ndim==3: mask = mask.all(2) m,n = mask.shape mask0,mask1 = mask.any(0),mask.any(1) col_start,col_end = ..

[Data] Segmentation 데이터 압축 알고리즘: Run Length Encoding(RLE) - coco mask to rle와 rle to mask 검증까지

💡 본 문서는 '[Data] Segmentation 데이터 압축 알고리즘: Run Length Encoding(RLE) - coco mask to rle와 rle to mask 검증까지'에 대해 정리해놓은 글입니다.Segmentation 에서 masking 데이터를 압축할때 종종 사용하는 알고리즘인 Run Length Encoding(RLE)에 대해 정리하였으며, Encoder, Decoder 알고리즘을 코드 수준에서 정리하였으니 참고하시기 바랍니다.1. Run Length Encoding(RLE) 란?RLE은 "Run Length Encoding"의 약자로, 이미지나 비디오 데이터를 압축하는 데 사용되는 압축 알고리즘 중 하나입니다. 이 알고리즘은 이미지에서 연속된 픽셀 값이 반복되는 경우, 그 ..

[Deploy] ONNX: 다른 DNN 프레임워크 간 모델 호환 포멧(pytorch, tensorflow, TensorRT, ...)

💡 본 문서는 '[Perception] ONNX: 다른 DNN 프레임워크 간 모델 호환 포멧(pytorch, tensorflow, ...)'에 대해 정리해놓은 글입니다.1. PyTorch, ONNX, TensorRT 비교1) PyTorch 2.0언젠가부터 Tensorflow를 앞지르고 가장 인기있는 Deep Learning Framework이 된 PyTorch가 2022년 12월에 새로운 버전을 공개했습니다. 이 글에서 알아야 할 중요한 부분은 PyTorch는 너무 Pythonic해서 문제라는 것입니다.Python의 특징그럼 Pythonic 하다는 게 뭐냐?간결성 / 가독성: User friendly하게 작성하기 때문에 코드가 직관적이고 over-engineering을 막을 수 있습니다.반대로 말하면 ..

[Dataset] Autonomous Driving Open Dataset: nuScenes Dataset(+ nuImages, nuPlan, Occupancy, nuReality)

💡 본 문서는 'Autonomous Driving Open Dataset: nuScenes Dataset'에 대해 정리해놓은 글입니다.자율주행 차량의 센서 데이터셋 중 하나인 nuScenes Dataset에 대해 정리하였으니 참고하시기 바랍니다.nuScenes Dataset1) Sensor 구성nuScenes dataset은 2019년에 공개된 오픈데이터로 detection, tracking, prediction & localization task을 지원하는 multi modal dataset입니다. 단순히 image만 제공하는 것이 아닌 camera로 수집한 image, Lidar로 수집한 point cloud, radar로 수집한 point cloud 등이 제공됩니다.dataset안에는 140만 개..