[Dataset] Object Detection/Segmentation Open Dataset: COCO Dataset

💡 본 문서는 '[Dataset] Object Detection/Segmentation Open Dataset: COCO Dataset '에 대해 정리해놓은 글입니다.
Object Detection/Segmentation Task를 한다고 하면 가장 가본적으로 알아야 하는 데이터셋인 COCO 데이터셋에 대해 활용방법까지 정리하였으니 참고하시기 바랍니다.

1. COCO 데이터셋

COCO 데이터셋 구조

COCO 데이터셋의 annotation은 json 형태로 되어 있으며, 기본적인 구조는 다음과 같은 필수적인 키를 가져야 합니다.

'images': [
    {
        'file_name': 'COCO_val2014_000000001268.jpg',
        'height': 427,
        'width': 640,
        'id': 1268
    },
    ...
],

'annotations': [
    {
        'segmentation': [[192.81,
            247.09,
            ...
            219.03,
            249.06]],  # if you have mask labels
        'area': 1035.749,
        'iscrowd': 0,
        'image_id': 1268,
        'bbox': [192.81, 224.8, 74.73, 33.43],
        'category_id': 16,
        'id': 42986
    },
    ...
],

'categories': [
    {'id': 0, 'name': 'car'},
 ]

There are three necessary keys in the json file:

• images: contains a list of images with their informations like file_name, height, width, and id.
• annotations: contains the list of instance annotations.
• categories: contains the list of categories names and their ID.

After the data pre-processing, there are two steps for users to train the customized new dataset with existing format (e.g. COCO format):

1. Modify the config file for using the customized dataset.
2. Check the annotations of the customized dataset.

Here we give an example to show the above two steps, which uses a customized dataset of 5 classes with COCO format to train an existing Cascade MaskRCNN R50 FPN detector.

2. COCO 데이터셋 다운로드

보통, coco dataset은 아래 링크에서 다운로드가 가능합니다만, 아무리 데이터셋을 클릭해도 다운로드가 되지 않았습니다.

• coco dataset download : https://cocodataset.org/#download

wget을 통해 다운로드 하려해도 링크가 변경되었는지 다운로드 되지 않았고, 아래와 같이 경로가 변경된 것을 찾았습니다.

# images
wget http://images.cocodataset.org/zips/train2017.zip   # train dataset
wget http://images.cocodataset.org/zips/val2017.zip     # validation dataset
wget http://images.cocodataset.org/zips/test2017.zip    # test dataset
wget http://images.cocodataset.org/zips/unlabeled2017.zip

# annotations
wget http://images.cocodataset.org/annotations/annotations_trainval2017.zip
wget http://images.cocodataset.org/annotations/stuff_annotations_trainval2017.zip
wget http://images.cocodataset.org/annotations/image_info_test2017.zip
wget http://images.cocodataset.org/annotations/image_info_unlabeled2017.zip

위 경로들에서 이미지나 annotation 모두 train2017.zip 부분을 원하는 dataset으로 변경(ex. train2015)하여 다운로드를 진행하면 됩니다. 추가로 annotations_trainval2017.zip 파일을 다운받고 unzip을 하게 되면 annotation 파일들을 얻을 수 있습니다.

3. COCO API 사용하기

다운받은 coco dataset은 api를 사용하여 python에서 활용할 수 있으며, 이미지를 시각화 하고 annotation 정보까지 시각화 할 수 있습니다.

1) coco api 초기화

%matplotlib inline
from pycocotools.coco import COCO
import numpy as np
import skimage.io as io
import matplotlib.pyplot as plt
import pylab
pylab.rcParams['figure.figsize'] = (8.0, 10.0)

dataDir='..'
dataType='val2017'

# initialize COCO api for person keypoints annotations
annFile = '{}/annotations/person_keypoints_{}.json'.format(dataDir,dataType)
coco=COCO(annFile)

2) COCO categories and supercategories 출력 해 보기

cats = coco.loadCats(coco.getCatIds())
nms=[cat['name'] for cat in cats]
print('COCO categories: \n{}\n'.format(' '.join(nms)))

nms = set([cat['supercategory'] for cat in cats])
print('COCO supercategories: \n{}'.format(' '.join(nms)))

3) 이미지 시각화

# get all images containing given categories, select one at random
catIds = coco.getCatIds(catNms=['person','dog','skateboard']);
imgIds = coco.getImgIds(catIds=catIds );
imgIds = coco.getImgIds(imgIds = [324158])
img = coco.loadImgs(imgIds[np.random.randint(0,len(imgIds))])[0]

# load and display image
# I = io.imread('%s/images/%s/%s'%(dataDir,dataType,img['file_name']))
# use url to load image
I = io.imread(img['coco_url'])
plt.axis('off')
plt.imshow(I)
plt.show()

 

4) annotation 시각화

# load and display keypoints annotations
plt.imshow(I); plt.axis('off')
ax = plt.gca()
annIds = coco_kps.getAnnIds(imgIds=img['id'], catIds=catIds, iscrowd=None)
anns = coco_kps.loadAnns(annIds)
coco_kps.showAnns(anns)

참고

• [Github] coco API : https://github.com/cocodataset/cocoapi
• [Github] coco API Demo: https://github.com/cocodataset/cocoapi/blob/master/PythonAPI/pycocoDemo.ipynb
• [mmdetection] Customize Datasets: https://mmdetection.readthedocs.io/en/v2.11.0/tutorials/customize_dataset.html