日日 Deep 每日 Learning

1. 오늘 한 일 - Deep Learning Basic 10강 - Data Visualizaion 1-1~1-3강 2. 과제 및 정리 - Transformer https://kkuneeee.tistory.com/39 [DL Basic] Transformer : Attention Is All You Need 시퀀스 데이터는 순서와 문맥 등이 바뀌면 의미가 달라지기 때문에 모델링하기가 까다롭다. 이러한 누락된 정보를 가진 시퀀스 데이터를 모델링하기 위해 고안된 방법이 Transformer이다. 1. Transfor kkuneeee.tistory.com - KL Divergence https://kkuneeee.tistory.com/41 [ML Statistics] KL Divergence KL Diverg..

1. 오늘 한 일 - Deep Learning Basic 7~9강 - 기본과제 4, 5 2. 과제 및 정리 - LSTM https://kkuneeee.tistory.com/38 [DL Basic] LSTM : Long Short Term Memory 일반적으로 많이 보게 되는 차트 데이터와는 다르게 Sequence 데이터는 문맥 혹은 순서 등에 따라 의미가 달라질 수 있다. 가령. 말을 할때, 주어, 목적어, 서술어 등의 요소 중 어떤 한 요소를 누락 kkuneeee.tistory.com 3. 회고 생각보다 힘들었다. LSTM도 Transformer도 하나를 하루종일 붙잡고 공부해도 부족할 양인 것들을 한번에 하려니 힘에 부치는 듯하다. 힘들다보니 뒤로 갈수록 대강대강하게 되는 것 같아 아쉽다. LSTM..

1. 오늘 한 일 - Deep Learning Basic 1~6강 - 기본과제 1~3 2. 과제 및 정리 - Optimizer 정리 https://kkuneeee.tistory.com/34 [DL Basic] Optimization 최적화 - 1 : Basic 1. Optimization의 중요성 Optimiaztion(최적화)는 머신러닝 관점에서 몇 가지 논점에서 바라 볼 수 있다. 1) 일반화 (Generalization) 2) 과대적합 vs 과소적합 (Ovefitting vs Underfitting) 3) 교차검증 (Cros.. kkuneeee.tistory.com https://kkuneeee.tistory.com/35 [DL Basic] Optimization 최적화 - 2 : Gradient ..

1. 오늘 한 일 - 논문 리뷰 정리 - 코딩테스트 문제풀이 2. 과제 및 정리 - 코딩테스트 풀이 https://kkuneeee.tistory.com/30 [프로그래머스] 고득점 Kit - 해시 : 베스트앨범(파이썬) 1. 문제설명 스트리밍 사이트에서 장르 별로 가장 많이 재생된 노래를 두 개씩 모아 베스트 앨범을 출시하려 합니다. 노래는 고유 번호로 구분하며, 노래를 수록하는 기준은 다 kkuneeee.tistory.com 3. 회고 코테문제풀이 스터디를 하자고 하고 처음 문제를 풀었다. 굉장히 시간이 오래 걸렸다. 정말 거짓말 안하고 3시간 정도는 걸린 거 같다. 코테 준비도 착실하게 차근차근 하면서 감 떨어지지 않게 해야겠다. 논문리뷰까지 해보려고 했지만 시간이 부족해서 코어타임에는 힘들거 같다...

1. 오늘 한 일 - 심화과제 풀이 및 복습, 블로그 정리 2. 과제 및 정리 - 심화과제 Transfer Learning and Hyper Parameter Tuning https://kkuneeee.tistory.com/28 [ML] Transfer Learning and Hyper Parameter Tuning 머신러닝 이론을 공부하고 실제 문제를 머신러닝으로 해결하려고 할때, 직면하는 문제 중 하나가 '미리 학습된 모델들이 많은데, 그 모델을 활용할 수 없을까'이다. 만약 다른 사람들이 학습시 kkuneeee.tistory.com 3. 회고 기한이 정해져있는 일주일 강의와 기본과제 제출이 끝나서 솔직히 오늘은 널럴하게 심화과제와 복습정리를 했다. 근데 사실 심화과제도 기본과제에 비하면 양도 적고 ..

1. 오늘 한 일 - 과제 1, 2 복습 및 블로그 정리 2. 과제 및 정리 - [pytorch] hook & apply https://kkuneeee.tistory.com/26 [Pytorch] hook & apply 1. hook hook은 패키지화된 코드에서 custom 코드를 중간에 실행시킬 수 있도록 만들어 놓은 인터페이스이다. 주로, 아래와 같은 경우에 사용한다. 프로그램의 실행 로직을 분석 프로그램에 추가적인 kkuneeee.tistory.com - [pytorch] parameter & buffer https://kkuneeee.tistory.com/24 [Pytorch] Parameter : 매개변수 / Buffer 1. Parameter란 정의로는 매개변수, 머신러닝에서는 모델이 사용할..

1. 오늘 한 일 - Pytorch 6~10강 - 과제 2 2. 과제 및 정리 - 기본 과제 1 : Custom Model 제작 : 어제 결국 새벽까지 풀다가 갑자기 번뜩 hook 부분을 풀게 되면서 전부 풀었다. 예시 같은걸 찾다가 Autograd 부분이 어떻게 작동하는지까지 확인하면서 팀원 중 한 분이 질문한 부분(external_grad = torch.tensor([1.,1.])에 대한 부분까지 공부하게 됐다. 아직도 역전파 단계에서 output gradient가 자기자신에 대한 미분값에서 시작하는지는 확실하진 않지만, 야코비안 벡터에서의 v 부분에 들어가야할 그 전 레이어의 gradient가 없기 때문에 벡터 v를 자기자신이라고 명시적으로 전달하는 것으로 생각된다. - 기본 과제 2 : Custo..

1. 오늘 한 일 - Pytorch 1~5강 - 과제 1 2. 과제 및 정리 - 기본 과제 1 : Custom Model 제작 : 거의 다 하긴 했지만 hook 부분에서 헤매고 있다..... 시간을 너무 많이 들여서 오늘 정리해서 게시는 힘들 것 같다. 3. 회고 너무 안일하게 시작했다. 기본 과제의 양을 가늠하지 못했고, 문제푸는 것과 읽고 이해하는 것의 양이 상상을 초월했다. 물론 월요일에 과제가 열리고 목요일 2시까지 제출이었기에 시간 간격을 두면 여유있는 분량이라고 생각이 들었다가도, 다시보니 엄청난 길이였다. 코랩으로 만들어진 과제 문항이 훑어 읽고 넘어가는 것들도 많았지만 몇몇 문제풀이는 레퍼런스가 잘못되있다거나 설명이 부족한 레퍼런스는 찾아서 힌트를 얻고 하다보니 벌써 과제에만 5시간 넘게 ..

1. 오늘 한 일 - 1주차 강의 수강 완료 - 복습 2. 과제 및 정리 복습 및 정리 - CNN https://kkuneeee.tistory.com/17 [CNN] Convolutional Neural Network : 합성곱 신경망 1. 다층신경망(MLP : Multi Layer Perceptron) 다층신경망(MLP : Multi Layer Perceptron)은 각 뉴런들이 선형모델과 활성함수로 모두 연결된(fully-connected) 구조 MLP는 i에 의존적이며, i가 변화할 때마.. kkuneeee.tistory.com - RNN https://kkuneeee.tistory.com/19 [RNN] Recurrent Neural Network : 순환신경망 MLP와 같은 방식은 input 데..

1. 오늘 한 일 - CNN : Convolution & Backpropagation - RNN - RNN Backpropagation : BPTT 2. 과제 및 정리 - 확률론 https://kkuneeee.tistory.com/14 [정리] 확률론 1. 확률분포 확률분포(Probability Distribution)은 확률변수가 특정한 값을 가질 확률을 나타내는 함수이다. 여기서 확률변수(Random Variable)는 확률적으로 결과값이 정해지는 변수를 의미하는데, 머신 kkuneeee.tistory.com - MLE https://kkuneeee.tistory.com/15 [MLE] Maximum Likelihood Estimation : 최대가능도 추정법 Likelihood란 데이터가 특정 분포..