likelihood

1.1 정의

Likelihood =우도,2 尤度, 가능성/가능도

확률 vs.우도
- 모수로부터 특정 현상이 관찰되는 것을 확률의 문제라고 한다면, 우도는 확률의 반대 개념이다.

최대 우도법
- 주어진 현상을 가지고 이 현상이 추출될 가능성을 가장 높게 하는(우도가 가장 높은) 모수를 거꾸로 추적하는 방법이 최대우도법이다.

확률 분포의 모수가, 어떤 확률변수의 표집값과 일관되는 정도를 나타내는 값이다.
구체적으로, 주어진 표집값에 대한 모수의 가능도는 이 모수를 따르는 분포가 주어진 관측값에 대하여 부여하는 확률
알려진 결과(관측된 표본)에 기초하여 미지의 모수(매개변수)의 추정에 대한 평가 척도
우도 likelihood는 한 개 혹은 몇 개 데이타를 관측해서 그 값들이 어떤 확률분포를 갖는 모집단에서 나왔다고 보는 것이 좋겠는가 하는 유사성이다.
확률분포함수의 y값, 일어날 가능성이 높은 사건

활용

필요 이유 : 연속사건에서는 특정 사건이 일어날 확률이 전부 0으로 계산되기 때문에 사건들이 일어날 가능성을 비교하는 것이 불가능하며, 가능도라는 개념을 적용해야 이를 비교할 수 있다.
나타난 결과에 따라 여러 가능한 가설들을 평가할 수 있는 측도(Measure)임

1.2 확률 밀도 함수 Vs. Likelihood

가. 확률 분포 함수는 어떤 모수(파라미터)를 전제로 하고 있다.

확률변수 X에 대한 확률 모형은 확률 밀도 함수 $$F_X$$에 의해 정의 된다.
확률 밀도 함수 : $$F_X(x;\theta)$$
- $$x$$ : 확률 변수가 가질 수 있는 실수 값
- $$\theta$$ : 확률 밀도 함수, 확률 모형의 모수(parameter) 집합 eg. 정규 분포 : $$\theta = (\mu, \sigma^2)$$

정규분포 예

$$ f_X(x;\theta) = \frac{1}{\sqrt{2\pi\sigma}}e^{-x-\mu^2/2\sigma^2}

확률밀도 함수	Likelihood
$$f_X(x;\theta)$$	$$f_X(x\	\theta)$$
$$\theta$$값을 이미 알고 있음	$$x$$값을 이미 알고 있음(이미 발생)
$$\theta$$는 상수 $$x$$는 변수	$$\theta$$는 변수, $$x$$는 상수
$$\theta$$가 이미 정해져 있는 상황에서의 $$x$$값의 상대적 가능성	$$x$$가 이미 정해져 있는 상황에서의 $$\theta$$값의 상대적 가능성

[likelihood가 확률 probability와 개념이 어떻게 다를까.]
probability is appropriate to a situation where observation are going to be made and we are interested in the probabilties of various possible sets of values that might be observed, taking the parameter θ as fixed (even if unknown);
likelihood is appropriate to a situation where data have already been obtained, and all conceivable values of θ are to be considered in the light of the data.

나. [확률밀도 함수]

$$f(x \mid \mu,\sigma) = f(x ; \mu,\sigma) = \frac{1}{\sqrt{2\pi\sigma}}e^{-x-\mu^2/2\sigma^2} $$
$$\mu,\sigma$$가 주어 졌을때 x에 대한 확률(밀도) 함수

함수 입장에서 $$\theta(\mu,\sigma)$$는 상수로 고정된 값이고 $$x$$를 변수로 가정한다.

즉, 이미 확률 변수 모형은 고정되어 있고 주어진 실수 입력값에 대해 그 실수값이 나올 상대적 가능성을 출력

다. [Likelihood]

추정 문제에서는 x는 샘플로 알고 있고, 모수$$(\theta)$$를 모르고 있다 $$L(\theta;x)$$

즉, 역으로 어떤 표본값(x=1)이 주어 졌을때 모수 population parameter 에 대한 함수로 표현하면 어떻게 되나
$$f(\mu,\sigma) = f(\mu,\sigma) = \frac{1}{\sqrt{2\pi\sigma}}e^{-1-\mu^2/2\sigma^2} $$
이와 같은 식을 likelihood function(우도 함수)라고 한다.

1.3 Likelihood 식 유도

모수 parameter 가 $$\theta$$로 주어지는 모집단이 존재 한다.
모집단에서 n개 표본을 추출 하여 각각 확률 변수로 정의 했다. ($$X_1, X_2, ..., X_n$$)
각각의 확률 변수에 특정한 값이 할당 되었다고 가정 ($$X_1=x_1, X_2=x_2, ..., X_n=x_n$$)
한편 $$x_1, x_2, ..., x_n$$의 값이 추출될 확률을 표현하는 결합 확률 밀도 함수가 존재 한다면 이렇게 표현 할수 있다. $$f(x_1, x_2, ..., x_n;\theta)$$
- 이를 우도 함수라고도 한다. $$L(\theta) =f(x_1, x_2, ..., x_n;\theta) $$
결합 확률 밀도 함수는 개별적인 확률 밀도 함수의 곱으로 나타낼 수 있다.

Likelihood(우도)