日日 Deep 每日 Learning

신경망은 선형모델(linear model)과 활성함수(activation function)을 합성한 함수로 구성된다. 이렇게 구성된 신경망을 겹겹이 쌓으면 다층 퍼셉트론(Multi-Layer Perceptron:MLP)이 되며, 머신러닝 모델의 기본이 된다. 위의 MLP 예시 이미지에 나타난 것과 같이 화살표 방향으로 데이터가 흐르며 계산이 되고 이를 순전파(Forward Propagation)이라고 한다. 순전파는 input 데이터가 output 데이터로 변환되는 과정을 말하며, 이것만 가지고는 모델이 학습이 되지 않기 때문에 모델이 가진 선형방정식을 업데이트해야한다. 이때 업데이트가 되는 방향은 순전파 방향의 반대 방향이 되고 이를 역전파(Back propagation)이라고 한다. 1. 역전파 : ..

1. 미분이란? : 미분(differentiation)은 변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구 : 함수의 특정 위치에서의 변화량, 기울기 주어진 점 (x,f(x))에서 미분값을 알면 어느 방향으로 움직여야 함수값이 증가/감소하는지 알수 있다. 미분값 < 0 일때, : x + f`(x) 0 일때, : x - f`(x) < x < x + f`(x) 미분값을 더하면 경사상승법(gradient ascent) : 함수의 극대값의 위치를 구할 때 사용 미분값을 빼면면 경사하강법(gradient descent) : 함수의 극소값의 위치를 구할 때 사용 2. 편미분 변수가 벡터인 경우 다변수 함수가 된다. 각각의 변수에 따라 기울기가 발생하기 때문에 함수의 최적화를 위해서는 각각의 변수마다 미분값을..

부스트캠프가 시작되었다. 매일마다 하루에 뭘 했는지 기록을 남기자고 해놓고 이 글도 하루가 지난 2일차에 작성을 하고 있기는 하지만 이제부터는 늦지 않게끔 마지막 시간에라도 작성을 해두어야겠다. 일단, 계획을 세워보려고 한다. 앞으로 5개월 동안 진행되는 캠프에서는 약 3개의 실전 프로젝트와 마지막 최종 프로젝트, 중간중간의 특강 등으로 이루어진 교육을 진행하게 된다. RecSys 쪽의 공부는 몇 개 보기만 했었고 직접 구현이나 공부해본적은 없지만 공부하는 내용에 대해서는 딱히 걱정이 되지는 않는다. 하려면 할 수 있는 공부일 것이기 때문인데다가 이제 늦장 부릴 수도 없기 때문이다. 처음 훈련소 갔을 때처럼 당연히 해야할 일이다라고 생각하면 마음이 편하다. 결국엔 공부보단 앞으로 어떻게 할 것인지 무얼 ..

1. 오늘 한 일 - numpy - 벡터 - 행렬 - 경사하강법 2. 과제 및 정리 - 스칼라 & 벡터 & 행렬 https://kkuneeee.tistory.com/7 [Scala & Vector & Matrix] 스칼라와 벡터와 행렬 1. Scala (스칼라) 일반적으로 스칼라라고 하면 벡터 공간(Vector Space)의 세 요소 중 하나로 물리학에서는 '방향을 가지지 않은 크기만 존재하는 물리량'이다. 수학에서 또한 방향을 가지지 않은 하 kkuneeee.tistory.com - 경사하강법 https://kkuneeee.tistory.com/10 [Gradient Descent & Gradient ascent] 경사상승법 & 경사하강법 1. 미분이란? : 미분(differentiation)은 변수의..

1. Scala (스칼라) 일반적으로 스칼라라고 하면 벡터 공간(Vector Space)의 세 요소 중 하나로 물리학에서는 '방향을 가지지 않은 크기만 존재하는 물리량'이다. 수학에서 또한 방향을 가지지 않은 하나의 값을 가지는 단위이며 일반적인 수라고 볼 수 있다. 2. Vector (벡터) 벡터는 숫자를 원소로 하는 리스트 / 배열(list / array)이다. 또 벡터는 벡터공간 안에서 한 점을 의미하며, 원점으로부터 상대적 위치를 가지고 있으며 이를 원점에서의 벡터로의 방향으로 볼수 있다. 특징 벡터는 공간에서의 한 점 원점으로부터 상대적 위치를 표현 숫자(스칼라)를 곱해주면 길이가 변함 숫자(음수)를 곱하면 길이는 그대로 원래방향과 정반대방향이 됨 같은 모양의 벡터는 덧셈, 뺄셈, 성분곱(Had..

※ 본 글은 '이것이 취업을 위한 코딩 테스트다 with 파이썬 - 나동빈'을 참고하였습니다. ○ Greedy Algorithm이란 간단하게 말하면!! - 큰 수의 법칙과 같이 가장 큰 값을 취하는 방향으로 혹은 반대로 가장 작은 값을 취하는 방향으로 움직이는 - '욕심' 많은 방향성을 가진 알고리즘이라고 할 수 있다. 다음은 예시 문제와 풀이, 책에서 나온 모범답안이다. 1. 큰 수의 법칙 ○ 풀이 ○ 책 풀이 2. 숫자 카드 게임 ○ 풀이 ○ 책 풀이 3. 1이 될때까지 ○ 풀이 ○ 책 풀이

머신러닝의 목표는 주로 예측이며, 다양한 예측을 가능하게 하기 위해 데이터를 활용하여 학습시키는 방법이라고 할수 있습니다. 데이터를 어떻게 학습시키는지 또, 사람의 개입이 이루어지는지에 따라 아래 세 가지로 나누어집니다. 1. Supervised Learning : 지도학습 2. Unsupervised Learning : 비지도학습 3. Reinforcement Learning : 강화학습 크게 나누면 지도/비지도학습 두 종류이지만 그 둘에 속하지 않는 특이한 학습방법으로 강화학습까지 포함하여 세 가지 방법론에 대해서 정리해보도록 하겠습니다. 1. Supervised Learning : 지도학습 지도학습은 정답(label)이 있는 데이터를 사용하여 학습하는 방법입니다. label이 있기 때문에 실제값과 ..

1. Neural Network Neural Network(이라 NN)은 인간 뇌의 신경망과 유사하게 설계하여 보다 복잡한 연산을 가능하게 한 연산 네트워크 구조입니다. Input 값으로는 [x1, x2, ..., xn]의 벡터이며, 원 안의 F(unction)을 통해 연산 작업을 마친 후에 output 값으로 y를 내보내는 구조입니다. 이 때 Input 값으로 들어가는 [x1, x2, ..., xn] 벡터의 요소에 대응하는 w1, w2, ..., wn의 가중치와 Input 값 벡터와 Weighted Summation 연산을 하며 그 후에 Activation Function을 거쳐 최종 output y가 됩니다. * Weighted Summation : s = x1w1 + x2w2 + ... + xnwn..

Dacon 교육 파트에 있는 패션 의류 분류 Fashion MNIST를 구현했습니다. https://dacon.io/competitions/open/235594/overview/description 패션 의류 분류 경진대회 - DACON 좋아요는 1분 내에 한 번만 클릭 할 수 있습니다. dacon.io 데이터셋은 위의 Dacon 사이트를 통해 다운로드 할수 있습니다. 코드 구현은 Dacon 사이트의 코드 공유 탭에 있는 코드를 참고하였습니다. https://dacon.io/competitions/open/235594/codeshare/4175?page=1&dtype=recent Pytorch를 이용한 가장 쉬운 방법, score : 0.9119 패션 의류 분류 경진대회 dacon.io 1. 데이터 확인..