신경망은 선형모델(linear model)과 활성함수(activation function)을 합성한 함수로 구성된다. 이렇게 구성된 신경망을 겹겹이 쌓으면 다층 퍼셉트론(Multi-Layer Perceptron:MLP)이 되며, 머신러닝 모델의 기본이 된다. 위의 MLP 예시 이미지에 나타난 것과 같이 화살표 방향으로 데이터가 흐르며 계산이 되고 이를 순전파(Forward Propagation)이라고 한다. 순전파는 input 데이터가 output 데이터로 변환되는 과정을 말하며, 이것만 가지고는 모델이 학습이 되지 않기 때문에 모델이 가진 선형방정식을 업데이트해야한다. 이때 업데이트가 되는 방향은 순전파 방향의 반대 방향이 되고 이를 역전파(Back propagation)이라고 한다. 1. 역전파 : ..