Network

[AI] back-propagation supplementary explanation

0. Overall Explanation: Calculate the hidden neuron value using weights from the input, and calculate the output of network using those values. Obtain the error value of the obtained output and target values and update the weight value to minimize the error value through backpropagation. 1. Each neuron is composed of two units. First unit adds products of weights coefficients and input signals. ..

[Vision] 용어정리(epoch, batch size, )

Fully Connected Neural Network(FC) : 노드와 노드 간의 연결이 모두 이루어진 것 Activation Function : sigmoid나 hyper-tangent와 같은 비선형 포화 함수(non-linear saturating function)를 사용하게 되면, 입력의 절대 값이 작은 일부 구간을 제외하면 미분 값이 0 근처로 가기 때문에 역전파(backpropagation)를 통한 학습이 어려워지거나 느려지게 됨. 이 문제의 해결책: ReLU: 간접적인 회피로 문제가 완화되긴했으나, 망이 깊어지면 여전히 문제.(dropout, regularization은 본질적인 해결책이 아님.) Residual Network & Batch Normalization(BN) (2015): 획기..