Concolutional

[Vision] 용어정리(epoch, batch size, )

Fully Connected Neural Network(FC) : 노드와 노드 간의 연결이 모두 이루어진 것 Activation Function : sigmoid나 hyper-tangent와 같은 비선형 포화 함수(non-linear saturating function)를 사용하게 되면, 입력의 절대 값이 작은 일부 구간을 제외하면 미분 값이 0 근처로 가기 때문에 역전파(backpropagation)를 통한 학습이 어려워지거나 느려지게 됨. 이 문제의 해결책: ReLU: 간접적인 회피로 문제가 완화되긴했으나, 망이 깊어지면 여전히 문제.(dropout, regularization은 본질적인 해결책이 아님.) Residual Network & Batch Normalization(BN) (2015): 획기..