[MLE] Maximum Likelihood Estimation : 최대가능도 추정법

• Likelihood란

       데이터가 특정 분포로부터 만들어졌을 확률

       = 관측된(주어진) 데이터가 특정 분포(모수)로부터 만들어졌을 가능성

       * likehood = 가능성 (O)  확률 (X)

 

• MLE : Maximum Likelihood Estimation

       : 어떤 모수가 주어졌을 때, 원하는 값들이 나올 가능도(likelihood)를 최대로 만드는 모수를 추정하는 방법

 

 

1. MLE (Maximum Likelihood Estimation : 최대가능도 추정법)

  1) 가정

      - 데이터 집합 X는 정규분포를 따른다.

      - 데이터 집합 X가 독립적으로 추출되었을 경우 : 로그 가능도를 최적화할 수 있다.

 

      - 원리

         관측값이 정규분포를 따를 때  , 그 원점의 위치를 추정

 

MLE 수식

        

  2) 로그 가능도

 

로그 가능도

      - 최적화 : 로그 가능도를 θ = (μ,σ)에 대해 미분한 값으로 계산한다.

위의 식을 만족하는 μ_MLE, σ_MLE는 다음과 같다.

θ = (μ,σ) 이므로 μ_MLE, σ_MLE을 통해 θ_MLE를 추정할 수 있다.

 

 주어진 데이터 X가 있을때, 서로 다른 정규분포 N(μ,σ)에서 계산된 가능도를 비교하여 가장 큰 가능도를 가진 확률분포를 선택한다. 

 

예시)

N(x;μ=-1), N(x;μ=0), N(x;μ=1)라는 세 개의 정규분포가 있을때,

• N(x;μ=−1)이라는 확률분포에서 x=1이 나올 가능도(확률밀도)는 0.05이다.
• N(x;μ=0)이라는 확률분포에서 x=1이 나올 가능도(확률밀도)는 0.24이다.
• N(x;μ=1)이라는 확률분포에서 x=1이 나올 가능도(확률밀도)는 0.40이다.

위와 같은 상황에서 가장 높은 0.40의 가능도를 가진 N(x;μ=1) 분포를 선택하는 것이 가장 타당하다. 

따라서 MLE에 의한 추정값 μ_MLE = 1이 된다.

 

 

 

참고자료 : 네이버부스트캠프 AI Tech 강의자료