日日 Deep 每日 Learning

1. Gradient Descent Method 1) Stochastic Gradient Descent : SGD vs Mini-batch Gradient Descent vs Batch Gradient Descent SGD는 확률적으로 gradient를 업데이트하는 방식이다. 이는 데이터 하나에 대해 gradient를 업데이트하는 방법이고, 모든 데이터에 대해서 업데이트하는 기존의 Gradient Descent 방법보다는 모델의 Generalization에서 좋은 성능을 보여주었다. 하지만 실제로 모델을 학습할때는 resource적인 측면에서도 효율적이어야하는데 SGD는 모든 데이터에서 하나하나의 확률적인 업데이트를 실행하기 때문에 비효율적이었고, 이에 batch를 추출하여 업데이트하는 방법이 등장하였다..

1. Neural Network Neural Network(이라 NN)은 인간 뇌의 신경망과 유사하게 설계하여 보다 복잡한 연산을 가능하게 한 연산 네트워크 구조입니다. Input 값으로는 [x1, x2, ..., xn]의 벡터이며, 원 안의 F(unction)을 통해 연산 작업을 마친 후에 output 값으로 y를 내보내는 구조입니다. 이 때 Input 값으로 들어가는 [x1, x2, ..., xn] 벡터의 요소에 대응하는 w1, w2, ..., wn의 가중치와 Input 값 벡터와 Weighted Summation 연산을 하며 그 후에 Activation Function을 거쳐 최종 output y가 됩니다. * Weighted Summation : s = x1w1 + x2w2 + ... + xnwn..