[Back propagation] 역전파

 신경망은 선형모델(linear model)과 활성함수(activation function)을 합성한 함수로 구성된다.

이렇게 구성된 신경망을 겹겹이 쌓으면 다층 퍼셉트론(Multi-Layer Perceptron:MLP)이 되며, 머신러닝 모델의 기본이 된다.

 

MLP 예시

 

 위의 MLP 예시 이미지에 나타난 것과 같이 화살표 방향으로 데이터가 흐르며 계산이 되고 이를 순전파(Forward Propagation)이라고 한다. 

 

순전파는 input 데이터가 output 데이터로 변환되는 과정을 말하며, 이것만 가지고는 모델이 학습이 되지 않기 때문에 모델이 가진 선형방정식을 업데이트해야한다. 이때 업데이트가 되는 방향은 순전파 방향의 반대 방향이 되고 이를 역전파(Back propagation)이라고 한다.

 

 

 

1. 역전파 : Back Propagation

 역전파는 레이어에 있는 선형방정식과 활섬함수의 gradient를 계산해서 업데이트하게 된다. 

순전파와 역전파

 각각의 레이어에서 계산된 gradient를 계산하여 가장 상층 레이어부터 시작레이어까지 chain rule을 통해 그레디언트 벡터를 전달하게 된다.

 

이를 통해 매 학습 스텝마다 W, b의 값을 업데이트하면서 모델이 학습된다.

 

 

 

참고자료 : 네이버부스트캠프 AI Tech 강의자료