추정

1. 최대 가능도 추정(MLE, 최대 우도추정)

1.1 정의

• 파라미터 θ에 대한 가능도 함수 L(θ)를 최대화 할수 있는 θ값을 구하는것
  • 최대화 = 미분시 0이 되는 지점 , $$ \frac{dL(\theta)}{d\theta} = 0 $$

1.2 구하는 법 (eg. 주사위에서 1이 나올 확률)

Step 1

100번을 던졌는데 1이 나온건 20번 이었다. $${100}C{20}$$

Step 2 : 가능도 함수 구하기

$$ L(\theta) = {100}C{20} \cdot \theta^{20} \cdot (1-\theta)^{80} $$

Step 3 : 가능도 함수 미분

100차 함수로 미분시 계산이 복잡하므로 로그 가능도 함수로 변형 $$ \log_eL(\theta)$$

$$ \frac{d}{d\theta} \log_eL(\theta) = 0 $$

자세한 풀이 식은 인공지능을 위한 수학 209p 참고

1.3 구하는 법 (파라미터가 여러개일경우)

각각의 파라미터에 대해 편미분