日日 Deep 每日 Learning

1. 오늘 한 일 - Pytorch 6~10강 - 과제 2 2. 과제 및 정리 - 기본 과제 1 : Custom Model 제작 : 어제 결국 새벽까지 풀다가 갑자기 번뜩 hook 부분을 풀게 되면서 전부 풀었다. 예시 같은걸 찾다가 Autograd 부분이 어떻게 작동하는지까지 확인하면서 팀원 중 한 분이 질문한 부분(external_grad = torch.tensor([1.,1.])에 대한 부분까지 공부하게 됐다. 아직도 역전파 단계에서 output gradient가 자기자신에 대한 미분값에서 시작하는지는 확실하진 않지만, 야코비안 벡터에서의 v 부분에 들어가야할 그 전 레이어의 gradient가 없기 때문에 벡터 v를 자기자신이라고 명시적으로 전달하는 것으로 생각된다. - 기본 과제 2 : Custo..

1. 오늘 한 일 - Pytorch 1~5강 - 과제 1 2. 과제 및 정리 - 기본 과제 1 : Custom Model 제작 : 거의 다 하긴 했지만 hook 부분에서 헤매고 있다..... 시간을 너무 많이 들여서 오늘 정리해서 게시는 힘들 것 같다. 3. 회고 너무 안일하게 시작했다. 기본 과제의 양을 가늠하지 못했고, 문제푸는 것과 읽고 이해하는 것의 양이 상상을 초월했다. 물론 월요일에 과제가 열리고 목요일 2시까지 제출이었기에 시간 간격을 두면 여유있는 분량이라고 생각이 들었다가도, 다시보니 엄청난 길이였다. 코랩으로 만들어진 과제 문항이 훑어 읽고 넘어가는 것들도 많았지만 몇몇 문제풀이는 레퍼런스가 잘못되있다거나 설명이 부족한 레퍼런스는 찾아서 힌트를 얻고 하다보니 벌써 과제에만 5시간 넘게 ..

SOTA는 State Of The Art의 약자로 현재 최고 수준의 결과를 말한다. 캐글 같은 콘테스트 사이트나 기술 관련 글을 보다 보면 나오는 단어이다. 모델 구축 시에 완전히 처음부터 학습하게 되면 시간이나 CPU/GPU 자원 등의 리소스 소모가 커서 개인으로써는 접근하기가 어렵기 때문에 pre-trained 모델을 많이 사용하게 된다. 이때 SOTA는 'pre-trained 모델 중 현재 최고 수준의 결과를 가진 모델'이 된다. https://brunch.co.kr/@kakao-it/64 [카카오AI리포트]연구자들이 열광하는 ICML,NIPS 학회 논문 메타 분석에서 나타나는 연구 흐름 | 저희는 왜 ‘카카오 AI 리포트'를 내고 있을까요. 이번 호는 이 같은 질문에 대해 또 다른 답을 찾아가는 ..

MLP와 같은 방식은 input 데이터로 위치나 순서와 상관없이 형성된 데이터를 사용하여 모델을 학습한다. 반면에 CNN은 regional feature를 학습하기 때문에 일정 크기의 kernel을 활용하여 Convolution 연산으로 학습을 한다. 하지만 소리, 문자열, 주가 등의 시퀀스 데이터는 독립적인 데이터라(i.i.d)는 머신러닝의 가정을 위배하는 경우가 많기 때문에 학습이 원활하게 이루어지지 않는 경우가 있다. local 적인 측면에 집중한 CNN 또한 이러한 시퀀스 데이터에 적용하기가 쉽지 않다. 이러한 문제를 해결하기 위해 순환신경망(RNN : Recurrent Neural Network)이라는 개념이 나오게 되었다. 1. 시퀀스 데이터 (Sequence data) : 시퀀스 데이터는 데..

1. 오늘 한 일 - 1주차 강의 수강 완료 - 복습 2. 과제 및 정리 복습 및 정리 - CNN https://kkuneeee.tistory.com/17 [CNN] Convolutional Neural Network : 합성곱 신경망 1. 다층신경망(MLP : Multi Layer Perceptron) 다층신경망(MLP : Multi Layer Perceptron)은 각 뉴런들이 선형모델과 활성함수로 모두 연결된(fully-connected) 구조 MLP는 i에 의존적이며, i가 변화할 때마.. kkuneeee.tistory.com - RNN https://kkuneeee.tistory.com/19 [RNN] Recurrent Neural Network : 순환신경망 MLP와 같은 방식은 input 데..

1. 다층신경망(MLP : Multi Layer Perceptron) 다층신경망(MLP : Multi Layer Perceptron)은 각 뉴런들이 선형모델과 활성함수로 모두 연결된(fully-connected) 구조 MLP는 i에 의존적이며, i가 변화할 때마다 가중치도 변화하게 된다. 이는 가중치 행렬 W가 모든 i에 대한 가중치를 행으로 합쳐둔 행렬이기 때문이다. 이것과는 다르게 모든 i에 대해 일정한 크기의 커널(kernel)을 입력벡터 상에 일정한 간격을 두고 움직이며 연산을 하는 합성곱 신경망(CNN : Convolutional Neural Network)가 등장했다. 2. 합성곱 신경망(CNN : Convolutional Neural Network) CNN은 특히 이미지 처리 분야에서 발전하..

1. 오늘 한 일 - CNN : Convolution & Backpropagation - RNN - RNN Backpropagation : BPTT 2. 과제 및 정리 - 확률론 https://kkuneeee.tistory.com/14 [정리] 확률론 1. 확률분포 확률분포(Probability Distribution)은 확률변수가 특정한 값을 가질 확률을 나타내는 함수이다. 여기서 확률변수(Random Variable)는 확률적으로 결과값이 정해지는 변수를 의미하는데, 머신 kkuneeee.tistory.com - MLE https://kkuneeee.tistory.com/15 [MLE] Maximum Likelihood Estimation : 최대가능도 추정법 Likelihood란 데이터가 특정 분포..

Likelihood란 데이터가 특정 분포로부터 만들어졌을 확률 = 관측된(주어진) 데이터가 특정 분포(모수)로부터 만들어졌을 가능성 * likehood = 가능성 (O) 확률 (X) MLE : Maximum Likelihood Estimation : 어떤 모수가 주어졌을 때, 원하는 값들이 나올 가능도(likelihood)를 최대로 만드는 모수를 추정하는 방법 1. MLE (Maximum Likelihood Estimation : 최대가능도 추정법) 1) 가정 - 데이터 집합 X는 정규분포를 따른다. - 데이터 집합 X가 독립적으로 추출되었을 경우 : 로그 가능도를 최적화할 수 있다. - 원리 관측값이 정규분포를 따를 때 , 그 원점의 위치를 추정 2) 로그 가능도 - 최적화 : 로그 가능도를 θ = (..

1. 확률분포 확률분포(Probability Distribution)은 확률변수가 특정한 값을 가질 확률을 나타내는 함수이다. 여기서 확률변수(Random Variable)는 확률적으로 결과값이 정해지는 변수를 의미하는데, 머신러닝에서는 일정한 데이터 공간에서의 존재하는 데이터라고 볼 수 있다. 확률분포의 형태에 따라 확률변수는 두 가지로 분리가 되고 이에 따라 두 가지 유형의 확률분포가 생긴다. 1-1)이산형 확률분포 이산형 확률변수에 따라 형성된 확률분포이다. 이산형 확률분포는 확률변수가 가질 수 있는 경우의 수를 모두 고려한 확률을 더해서 확률질량함수를 모델링한다. 1-2)연속형 확률분포 연속형 확률변수에 따라 형성된 확률분포로써 데이터 공간에 정의된 확률변수의 밀도에 따라 적분을 통해 확률밀도함 ..

1. 오늘 한 일 - Back Propagation - 확률론 - 통계학 - 베이즈 통계학 2. 과제 및 정리 - 역전파 : Back Propagation https://kkuneeee.tistory.com/11 [Back propagation] 역전파 신경망은 선형모델(linear model)과 활성함수(activation function)을 합성한 함수로 구성된다. 이렇게 구성된 신경망을 겹겹이 쌓으면 다층 퍼셉트론(Multi-Layer Perceptron:MLP)이 되며, 머신러닝 모델의 기.. kkuneeee.tistory.com - 최대가능도 추정법 참고 블로그 https://datascienceschool.net/02%20mathematics/09.02%20%EC%B5%9C%EB%8C%80%E..