[Week 3 - 2] BoostCamp AI Tech

1. 오늘 한 일

- Deep Learning Basic 1~6강

- 기본과제 1~3

 

 

2. 과제 및 정리

- Optimizer 정리

https://kkuneeee.tistory.com/34

[DL Basic] Optimization 최적화 - 1 : Basic

https://kkuneeee.tistory.com/35

[DL Basic] Optimization 최적화 - 2 : Gradient Descent

https://kkuneeee.tistory.com/36

[DL Basic] Optimization 최적화 - 3 : Regularization

 

 

3. 회고

Optimizer를 간단간단하게 정리하는 것만 해도 시간과 분량이 많아졌다. 사실 Optimizer 부분은 하나하나가 논문 하나로 나와있을 정도로 자세하게 하면 자세할 수 있는 부분이지만, 지금 당장은 전체적으로 개념을 정리하는 정도로 보는게 더 효율적이라 생각했다. 나중에 복습할때 혹은 필요할때 조금 더 자세하게 정리해두면 좋을 듯 하다.

 

이번 주말은 연휴여서 그런지 2주차보다 조금 더 힘들었다. 집중력도 살짝 아쉬웠고, 카페인의 힘을 빌려도 머리가 맑다는 느낌이 약했다. 평소보다 잠은 충분하게 많이 잤는데 오히려 그게 독이 된 것인지 아직 몸 상태를 조절하는게 완벽하지 않은 것 같다. 하긴 평소에 자던 시간보다는 거의 두배를 잤으니 그럴 수 있을 지도 모르겠다.

 

오늘 할 일은 잘 한것 같지만 뭔가 조금 아쉬웠다. 정리해야할 분량이 생각보다 길어서 전부 하진 못했기 때문이다. 내일은 조금 더 정신차리고 해야겠다. 시각화 부분까지 이번주에 해결하려면 또, 다음주도 평일이 4일이라는 걸 감안한다면 일이 밀리면 안될 것이다.

 

피어세션 때를 보면, 나는 질문이 없다. 대신 다른 팀원들이 질문한 부분에 대해서 같이 고민하거나 답을 해준다. 이게 나에게도 도움이 되는 것은 맞지만, 과연 이렇게만 해도 될까..하는 걱정이 생기기도 한다.

공부방식의 차이일지도 모른다. 일단 공부하다가 나는 잘 모르겠으면 넘어간다. 나중에 얼마가지 않아 어차피 또 똑같은 부분에서 똑같은 물음이 나올 것이기 때문이다. 그리고 그때 한번 더 본다. 그러면 대부분 이해가 간다. 마치 머신러닝 모델처럼 iteration이 계속 될수록 error는 줄어드는 것처럼 말이다. 처음엔 이렇게 하지는 않았었다. 모르는 것이 하나 생기면 그걸 밤을 새든 어떻게서든 이해하려고 했다. 이게 정답일 수도 있다.

하지만 지금은 그때처럼 시간이 많지도 않고, 해야할 일이 적었다. 하나에 집중하여 시간과 체력을 쏟을 수 있었다. 지금은 그때와는 상황이 다르다. 매주 매일 해야하는 일은 점점 많고 공부해야할 범위도 크다. 하나에만 집중하기가 어렵다는 거다.

그런데 웃긴 것은 시간을 들여 이해한 것도, 시간에 쫓겨 넘긴 것도 얼마 지나면 다시 또 모르겠다는 거다. 다만 이해했던 쪽은 조금이나마 남아있기는 하다. 완전히 까먹지는 않지만, 그래도 다시 공부하며 정리해야된다. 그럴바에는 텀을 길게 두지 않고서 자주 체크하며 되새기는게 더 낫지 않을까.

라고 생각해서 이렇게 공부하는 것 같다.

 

어찌보면 당연한 걸수도 있고 나에게만 맞는 편법인 것도 같지만 잘 모르겠다. 내 방식에 스스로 의문이 드는 것은 어쩔 수 없는 부분인 걸지도 모르겠다.

약간의 특이점이라면, 지금 당장부터 꼭 알아야 될만한 것들과 지금은 잘 몰라도 될만한 것들의 차이를 대강 알 것 같다는 점이다.

 

충분한 데이터로 많이 학습하면 모델은 수렴한다.
다만, 어디로 수렴될지는 상황에 따라 다르다.