최대우도법(Maximum Likelihood)

정의

어떤 확률변수에서 표집한 값들을 토대로 그 확률변수의 모수를 구하는 방법.

즉, 어떤 모수가 주어졌을 때, 원하는 값들이 나올 가능도를 최대로 만드는 모수를 선택하는 방법.

방법

어떤 모수  $\theta$ 로 결정되는 확률변수들의 모임  $D_{\theta }=(X_1,X_2,\dots ,X_n)$ 이 있고,  $D_{\theta }$ 의 확률밀도함수나 확률질량함수가  $f$ 이고, 그 확률변수들에서 각각 값  $x_1,x_2,\dots ,x_n$ 을 얻었을 경우의 가능도  $L\left(\theta \right)$ 는 다음과 같다.

$$L\left(\theta \right)=f_{\theta }(x_1,x_2,\dots ,x_n)$$

여기서 가능도를 최대로 만드는  $\theta$ 는 다음과 같다.

$$\hat{\theta }=argma{x}_{\theta }L\left(\theta \right)$$

이 때  $X_1,X_2,\dots ,X_n$ 이 모두 독립적이고 같은 확률분포를 가지고 있다면  $L$ 은 다음과 같이 표현이 가능하다.

$$L\left(\theta \right)=\prod _{i=1}^n{f}_{\theta }\left(x_i\right)$$

또한, 로그함수는 단조 증가하므로,  $L$ 에 로그를 씌운 값의 최대값은 원래 값  $\hat{\theta }$ 와 같고, 이 경우 계산이 비교적 간단해진다.

$$L^{\star }\left(\theta \right)=\log \left(L\left(\theta \right)\right)=\sum _{i=1}^n\log f_{\theta }\left(x_i\right)$$

$L\left(\theta \right)={\prod }_{i=1}^n{f}_{\theta }\left(x_i\right)$

$=f_{\theta }\left(x_1\right)\cdot f_{\theta }\left(x_2\right)\cdot f_{\theta }\left(x_3\right)\cdot \dots$

$\log \left(L\left(\theta \right)\right)=\log \left({\prod }_{i=1}^n{f}_{\theta }\left(x_i\right)\right)$

$=log{f}_{\theta }\left(x_1\right)+log{f}_{\theta }\left(x_2\right)+log{f}_{\theta }\left(x_3\right)+\dots$

예시 (모비율 추정)

대한민국의 모든 인구 중 한명을 표본으로 추출하는데 추출된 사람이 남자인지 여자인지를 알려고 한다고 하면, 이 때 표본 랜덤변수가 갖는 확률분포는 베르누이 분포를 따를 것이다. 베르누이 분포는 다음과 같다.

1회 시행 시 두 가지 결과에 의해 그 값이 각각 0 또는 1로 결정되는 확률변수 $X$ 에 대해서

$$f\left(x\right)=p^x{\left(1-p\right)}^{\left(1-x\right)}$$

그러면 총  $n$ 명에 대해 추출했을 때의 우도(likelihood)는 다음과 같이 정해진다.

$$L\left(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n|p\right)=\prod _{i=1}^n{p}^{x_i}{\left(1-p\right)}^{1-x_i}\cdots \left(a\right)$$

즉, 위 식은 다음과 같이 설명할 수 있다. 가령 10명의 사람을 추출했는데 1번부터 10번 사람까지의 성별이 각각 {남, 여, 남, 남, 여, 여, 남, 남, 여, 남} 이라고 해보자.

남자라면  $X_i=0$ 이라고 하고 여자라면 $X_i=1$ 이라고 결정한다고 했을 때, 현 상태에서  $x_i(i=1,2,\cdots ,10)$ 은

{0, 1, 0, 0, 1, 1, 0, 0, 1, 0} 이라고 할 수 있다. 그러면 식 $\left(a\right)$ 는 다음과 같을 것이다.

$$L\left(X_1=0,X_2=1,\cdots ,X_{1}0=0|p\right)=\prod _{i=1}^{10}{p}^{x_i}{\left(1-p\right)}^{1-x_i}$$

하지만 여전히  $p$ (표본이 여성일 확률)를 알 수 없기 때문에 확률  $f$ 를 최대화 할 수 있는 모수  $p$ 를 찾도록 최대우도법을 시행한다.

식  $\left(a\right)$ 에서 함수  $f$ 를  $p$ 에 대해 편미분 하려면 쉽지 않다. 여기서 로그 함수의 단조증가 성질을 활용하여  $L^{\star }=log\left(L\right)$ 라는 보조 방정식을 도입하도록 한다. 그러면  $L^{\star }$ 은 다음과 같다.

$$L^{\star }=\log \left(L\right)=\sum _{i=1}^n\log \left(p^{x_i}{\left(1-p\right)}^{\left(1-x_i\right)}\right)=\sum _{i=1}^n\left\{x_i\log \left(p\right)+\left(1-x_i\right)\log \left(1-p\right)\right\}$$

$L^{\star }$ 의  $p$ 에 대한 편미분이 0이 되는  $p$ 를 찾으면 최대우도를 만족하는 모수  $p$ 를 추정할 수 있다.

$L^{\star }=\frac{{\sum }_{i=1}^n{x}_i}{p}-\frac{{\sum }_{i=1}^n\left(1-x_i\right)}{1-p}$

$=\frac{n\overline{X}}{p}-\frac{n\left(1-\overline{X}\right)}{p}=0$

$=\frac{n\overline{X}}{p}=\frac{n\left(1-\overline{X}\right)}{p}$

$=\left(1-p\right)\overline{X}=\left(1-\overline{X}\right)p$

$=\overline{X}-p\overline{X}=p-\overline{X}p$

$=p=\overline{X}$

따라서,  $p=\overline{X}$ 로 모수  $p$ 를 추정하는 것이 적절하다는 것을 알 수 있다.

생각해보면 자연스러운 것이 모비율 추정 시 현재 모여있는 사람의 성비를 가지고 모비율을 추정할 수 밖에 없고, 아마 그런 모비율이 있었기 때문에 현재 상태가 만들어 진 것은 아닐까? 라고 추정하는 것은 자연스럽다.