Study: Artificial Intelligence(AI)
[논문리뷰] Transformer: Attention is All you need
💡 본 문서는 '[논문리뷰] Transformer: Attention is All you need'에 대해 정리해놓은 글입니다.Transformer는 최근 들어 자연어 처리와 비전 분야 모두에서 월등한 성능을 보이면서 발전하고 있다. 이러한 Transformer를 처음으로 제안한 논문이 바로 "Attention is all you need"이며, 자연어 처리를 위해 제안되었지만 최근 비전 쪽에서도 transformer를 많이 다루고, 필자도 연구에서 관련 모델을 사용해야 해서 리뷰를 한 번 해보려고한다. Abstract기존 sequence transduction model들은 인코더와 디코더를 포함한 복잡한 recurrent 나 cnn에 기반하며, 가장 성능이 좋은 모델 또한 attention mech..
[Vision] CNN Network 기본 모델 정리 (LeNet-5 부터 ResNet 까지)
💡 본 문서는 '[Perception] CNN Network의 역사 (LeNet-5 부터 ResNet 까지)'에 대해 정리해놓은 글입니다.최근에 나오는 대부분의 모델이 아직까지 ResNet으로 pretrained 된 모델을 사용하고 있다는 점에서 의아하여, ResNet 구조를 공부하고자 이전부터 ResNet까지의 CNN Nerwork의 역사를 정리하였으니 참고하시기 바랍니다.0. Multi Layer Perceptron (MLP)Multi Layer Perceptron은 다음과 같은 Layer 층으로 구성되어 있습니다.Fully Connected Layer: 입력층과 출력노드를 모두 연결한다.Batch Normalization: 각 층의 입력 데이터 분포를 일정하게 유지시킨다.Activation Fu..
[Vision] Depth Estimation, Depth Completion and Depth refinement
💡 본 문서는 '[Vision] Depth Estimation, Depth Completion and Depth refinement'에 대해 정리해놓은 글입니다.3D space를 다루다보면 정확한 깊이 정보를 사용해야할 일이 많습니다. 이때 다양한 Depth 관련 방법론과 그에 따른 알고리즘이 있는데, 이를 분류하여 자세히 정리하였으니 참고하시기 바랍니다.0. Depth Task 정리Depth estimation: depth가 없을때 rgb 이미지로 추정.Depth completion: 정확한 sparse depth를 rgb 이미지를 가이드로 하여 dense하게 생성Depth refinement/enhancement: dense한 depth를 더욱 더 향상1. Depth EstimationDepth E..