랄라라

정의

어떤 확률변수에서 표집한 값들을 토대로 그 확률변수의 모수를 구하는 방법.

즉, 어떤 모수가 주어졌을 때, 원하는 값들이 나올 가능도를 최대로 만드는 모수를 선택하는 방법.

방법

어떤 모수  $\theta$ 로 결정되는 확률변수들의 모임  $D_{\theta }=(X_1,X_2,\dots ,X_n)$ 이 있고,  $D_{\theta }$ 의 확률밀도함수나 확률질량함수가  $f$ 이고, 그 확률변수들에서 각각 값  $x_1,x_2,\dots ,x_n$ 을 얻었을 경우의 가능도  $L\left(\theta \right)$ 는 다음과 같다.

$$L\left(\theta \right)=f_{\theta }(x_1,x_2,\dots ,x_n)$$

여기서 가능도를 최대로 만드는  $\theta$ 는 다음과 같다.

$$\hat{\theta }=argma{x}_{\theta }L\left(\theta \right)$$

이 때  $X_1,X_2,\dots ,X_n$ 이 모두 독립적이고 같은 확률분포를 가지고 있다면  $L$ 은 다음과 같이 표현이 가능하다.

$$L\left(\theta \right)=\prod _{i=1}^n{f}_{\theta }\left(x_i\right)$$

또한, 로그함수는 단조 증가하므로,  $L$ 에 로그를 씌운 값의 최대값은 원래 값  $\hat{\theta }$ 와 같고, 이 경우 계산이 비교적 간단해진다.

$$L^{\star }\left(\theta \right)=\log \left(L\left(\theta \right)\right)=\sum _{i=1}^n\log f_{\theta }\left(x_i\right)$$

$L\left(\theta \right)={\prod }_{i=1}^n{f}_{\theta }\left(x_i\right)$

$=f_{\theta }\left(x_1\right)\cdot f_{\theta }\left(x_2\right)\cdot f_{\theta }\left(x_3\right)\cdot \dots$

$\log \left(L\left(\theta \right)\right)=\log \left({\prod }_{i=1}^n{f}_{\theta }\left(x_i\right)\right)$

$=log{f}_{\theta }\left(x_1\right)+log{f}_{\theta }\left(x_2\right)+log{f}_{\theta }\left(x_3\right)+\dots$

예시 (모비율 추정)

대한민국의 모든 인구 중 한명을 표본으로 추출하는데 추출된 사람이 남자인지 여자인지를 알려고 한다고 하면, 이 때 표본 랜덤변수가 갖는 확률분포는 베르누이 분포를 따를 것이다. 베르누이 분포는 다음과 같다.

1회 시행 시 두 가지 결과에 의해 그 값이 각각 0 또는 1로 결정되는 확률변수 $X$ 에 대해서

$$f\left(x\right)=p^x{\left(1-p\right)}^{\left(1-x\right)}$$

그러면 총  $n$ 명에 대해 추출했을 때의 우도(likelihood)는 다음과 같이 정해진다.

$$L\left(X_1=x_1,X_2=x_2,\cdots ,X_n=x_n|p\right)=\prod _{i=1}^n{p}^{x_i}{\left(1-p\right)}^{1-x_i}\cdots \left(a\right)$$

즉, 위 식은 다음과 같이 설명할 수 있다. 가령 10명의 사람을 추출했는데 1번부터 10번 사람까지의 성별이 각각 {남, 여, 남, 남, 여, 여, 남, 남, 여, 남} 이라고 해보자.

남자라면  $X_i=0$ 이라고 하고 여자라면 $X_i=1$ 이라고 결정한다고 했을 때, 현 상태에서  $x_i(i=1,2,\cdots ,10)$ 은

{0, 1, 0, 0, 1, 1, 0, 0, 1, 0} 이라고 할 수 있다. 그러면 식 $\left(a\right)$ 는 다음과 같을 것이다.

$$L\left(X_1=0,X_2=1,\cdots ,X_{1}0=0|p\right)=\prod _{i=1}^{10}{p}^{x_i}{\left(1-p\right)}^{1-x_i}$$

하지만 여전히  $p$ (표본이 여성일 확률)를 알 수 없기 때문에 확률  $f$ 를 최대화 할 수 있는 모수  $p$ 를 찾도록 최대우도법을 시행한다.

식  $\left(a\right)$ 에서 함수  $f$ 를  $p$ 에 대해 편미분 하려면 쉽지 않다. 여기서 로그 함수의 단조증가 성질을 활용하여  $L^{\star }=log\left(L\right)$ 라는 보조 방정식을 도입하도록 한다. 그러면  $L^{\star }$ 은 다음과 같다.

$$L^{\star }=\log \left(L\right)=\sum _{i=1}^n\log \left(p^{x_i}{\left(1-p\right)}^{\left(1-x_i\right)}\right)=\sum _{i=1}^n\left\{x_i\log \left(p\right)+\left(1-x_i\right)\log \left(1-p\right)\right\}$$

$L^{\star }$ 의  $p$ 에 대한 편미분이 0이 되는  $p$ 를 찾으면 최대우도를 만족하는 모수  $p$ 를 추정할 수 있다.

$L^{\star }=\frac{{\sum }_{i=1}^n{x}_i}{p}-\frac{{\sum }_{i=1}^n\left(1-x_i\right)}{1-p}$

$=\frac{n\overline{X}}{p}-\frac{n\left(1-\overline{X}\right)}{p}=0$

$=\frac{n\overline{X}}{p}=\frac{n\left(1-\overline{X}\right)}{p}$

$=\left(1-p\right)\overline{X}=\left(1-\overline{X}\right)p$

$=\overline{X}-p\overline{X}=p-\overline{X}p$

$=p=\overline{X}$

따라서,  $p=\overline{X}$ 로 모수  $p$ 를 추정하는 것이 적절하다는 것을 알 수 있다.

생각해보면 자연스러운 것이 모비율 추정 시 현재 모여있는 사람의 성비를 가지고 모비율을 추정할 수 밖에 없고, 아마 그런 모비율이 있었기 때문에 현재 상태가 만들어 진 것은 아닐까? 라고 추정하는 것은 자연스럽다.

Sigmoid 함수 (logistic function)

$sigmoid\left(x\right)=\frac{1}{1+e^{-x}}$

Sigmoid 함수 미분

$\frac{d}{dx}sigmoid\left(x\right)=\frac{d}{dx}{\left(1+e^{-x}\right)}^{-1}$

$=\left(-1\right)\frac{1}{{\left(1+e^{-x}\right)}^2}\frac{d}{dx}\left(1+e^{-x}\right)$

$=\left(-1\right)\frac{1}{{\left(1+e^{-x}\right)}^2}\left(0+e^{-x}\right)\frac{d}{dx}\left(-x\right)$

$=\left(-1\right)\frac{1}{{\left(1+e^{-x}\right)}^2}{e}^{-x}\left(-1\right)$

$=\left(-1\right)\frac{1}{{\left(1+e^{-x}\right)}^2}{e}^{-x}\left(-1\right)$

$=\left(-1\right)\frac{1}{{\left(1+e^{-x}\right)}^2}{e}^{-x}\left(-1\right)$

$=\frac{\left(1+e^{-x}\right)}{{\left(1+e^{-x}\right)}^2}-\frac{1}{{\left(1+e^{-x}\right)}^2}$

$=\frac{1}{1+e^{-x}}-\frac{1}{{\left(1+e^{-x}\right)}^2}$

$=\frac{1}{1+e^{-x}}\left(1-\frac{1}{1+e^{-x}}\right)$

$=sigmoid\left(x\right)\left(1-sigmoid\left(x\right)\right)$

$=\sigma \left(x\right)\text{'}=\sigma \left(x\right)(1-\sigma (x\left)\right)$

Cost 함수

$Cost\left(h_{\theta }\right(x),y)=-ylog\left(h_{\theta }\right(x\left)\right)-(1-y)log(1-h_{\theta }(x\left)\right)$

전체 Cost 함수

$j\left(\theta \right)=-\frac{1}{m}{\sum }_{i=1}^m\left[y^{\left(i\right)}\log \left(h_{\theta }\left(x^{\left(i\right)}\right)\right)+\left(1-y^{\left(i\right)}\right)\log \left(1-h_{\theta }\left(x^{\left(i\right)}\right)\right)\right]$

Cost 함수 미분

$\frac{\partial }{\partial {\theta }_j}j\left(\theta \right)=\frac{\partial }{\partial {\theta }_j}\frac{-1}{m}{\sum }_{i=1}^m\left[y^{\left(i\right)}\log \left(h_{\theta }\left(x^{\left(i\right)}\right)\right)+\left(1-y^{\left(i\right)}\right)\log \left(1-h_{\theta }\left(x^{\left(i\right)}\right)\right)\right]$

$=-\frac{1}{m}{\sum }_{i=1}^m\left[y^{\left(i\right)}\frac{\partial }{\partial {\theta }_j}\log \left(h_{\theta }\left(x^{\left(i\right)}\right)\right)+\left(1-y^{\left(i\right)}\right)\frac{\partial }{\partial {\theta }_j}\log \left(1-h_{\theta }\left(x^{\left(i\right)}\right)\right)\right]$

$=-\frac{1}{m}{\sum }_{i=1}^m\left[\frac{y^{\left(i\right)}\frac{\partial }{\partial {\theta }_j}{h}_{\theta }\left(x^{\left(i\right)}\right)}{h_{\theta }\left(x^{\left(i\right)}\right)}+\frac{\left(1-y^{\left(i\right)}\right)\frac{\partial }{\partial {\theta }_j}\left(1-h_{\theta }\left(x^{\left(i\right)}\right)\right)}{1-h_{\theta }\left(x^{\left(i\right)}\right)}\right]$

$=-\frac{1}{m}{\sum }_{i=1}^m\left[\frac{y^{\left(i\right)}\frac{\partial }{\partial {\theta }_j}\sigma \left({\theta }^T{x}^{\left(i\right)}\right)}{h_{\theta }\left(x^{\left(i\right)}\right)}+\frac{\left(1-y^{\left(i\right)}\right)\frac{\partial }{\partial {\theta }_j}\left(1-\sigma \left({\theta }^T{x}^{\left(i\right)}\right)\right)}{1-h_{\theta }\left(x^{\left(i\right)}\right)}\right]$

$=-\frac{1}{m}{\sum }_{i=1}^m\left[\frac{y^{\left(i\right)}\sigma \left({\theta }^T{x}^{\left(i\right)}\right)\left(1-\sigma \left({\theta }^T{x}^{\left(i\right)}\right)\right)\frac{\partial }{\partial {\theta }_j}{\theta }^T{x}^{\left(i\right)}}{h_{\theta }\left(x^{\left(i\right)}\right)}+\frac{-\left(1-y^{\left(i\right)}\right)\sigma \left({\theta }^T{x}^{\left(i\right)}\right)\left(1-\sigma \left({\theta }^T{x}^{\left(i\right)}\right)\right)\frac{\partial }{\partial {\theta }_j}{\theta }^T{x}^{\left(i\right)}}{1-h_{\theta }\left(x^{\left(i\right)}\right)}\right]$

$=-\frac{1}{m}{\sum }_{i=1}^m\left[\frac{y^{\left(i\right)}{h}_{\theta }\left(x^{\left(i\right)}\right)\left(1-h_{\theta }\left(x^{\left(i\right)}\right)\right)\frac{\partial }{\partial {\theta }_j}{\theta }^T{x}^{\left(i\right)}}{h_{\theta }\left(x^{\left(i\right)}\right)}+\frac{-\left(1-y^{\left(i\right)}\right)h_{\theta }\left(x^{\left(i\right)}\right)\left(1-h_{\theta }\left(x^{\left(i\right)}\right)\right)\frac{\partial }{\partial {\theta }_j}{\theta }^T{x}^{\left(i\right)}}{1-h_{\theta }\left(x^{\left(i\right)}\right)}\right]$

$=-\frac{1}{m}{\sum }_{i=1}^m\left[y^{\left(i\right)}{h}_{\theta }\left(x^{\left(i\right)}\right)\left(1-h_{\theta }\left(x^{\left(i\right)}\right)\right)x_j^{\left(i\right)}+-\left(1-y^{\left(i\right)}\right)h_{\theta }\left(x^{\left(i\right)}\right)x_j^{\left(i\right)}\right]$

$=-\frac{1}{m}{\sum }_{i=1}^m\left[y^{\left(i\right)}{h}_{\theta }\left(x^{\left(i\right)}\right)\left(1-h_{\theta }\left(x^{\left(i\right)}\right)\right)+-\left(1-y^{\left(i\right)}\right)h_{\theta }\left(x^{\left(i\right)}\right)\right]x_j^{\left(i\right)}$

$=-\frac{1}{m}{\sum }_{i=1}^m\left[y^{\left(i\right)}-y^{\left(i\right)}{h}_{\theta }\left(x^{\left(i\right)}\right)-h_{\theta }\left(x^{\left(i\right)}\right)+y^{\left(i\right)}{h}_{\theta }\left(x^{\left(i\right)}\right)\right]x_j^{\left(i\right)}$

$=-\frac{1}{m}{\sum }_{i=1}^m\left[y^{\left(i\right)}-h_{\theta }\left(x^{\left(i\right)}\right)\right]x_j^{\left(i\right)}$

$=\frac{1}{m}{\sum }_{i=1}^m\left[h_{\theta }\left(x^{\left(i\right)}\right)-y^{\left(i\right)}\right]x_j^{\left(i\right)}$

Gradient Desent

$Repeat\left\{{\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J\left(\theta \right)\right\}$

↓

$Repeat\left\{{\theta }_j:={\theta }_j-\frac{\alpha }{m}{\sum }_{i=1}^m\left(h_{\theta }\left(x^{\left(i\right)}\right)-y^{\left(i\right)}\right)x_j^{\left(i\right)}\right\}$

로지스틱 함수

$y=\frac{1}{1+e^{-z}}$

선형 회귀 분석의 경우 모델을 위해 만들어 지는 함수는 아래와 같다.

$y=Wx+b$

$y=W_1\cdot x_1+W_2\cdot x_2+...+Wi\cdot xi+b$

$y=W\bullet X$

이 1차 함수는 독립변수  $x$ 가 변화할때 종속변수  $y$ 의 변화를 관찰하는 것이 목적인 함수라고 할때 독립변수  $x$ 와 종속변수  $y$ 는 모두 음의 무한대 $-\infty$ 에서 양의 무한대 $\infty$ 의 범위를 갖는다.

혈압과 나이에 대한 상관 관계를 확인/예측하기 위해 선형 회귀 분석을 사용 할 수 있고 이때 나이와 혈압은 연속형 변수로 1차 함수 그래프로 표현하기에 문제가 없다.

그러나 암의 경우와 같이 발병 여부가 데이터로 주어졌을 경우 종속변수  $y$ 는 발병=1, 정상=0 과 같은 범주형 변수의 범위를 갖게 된다.

발병여부를 선형식으로 표현하기 위해 하루에 담배를 5개피 피는 사람을 기준으로 1의 값을 얻기 위해 기울기  $W$ 를 편의상 1로 놓고  $b$ 는 -4로 초기 설정했을 경우  $y=1\ast 5-4=1$ 의 결과를 얻을 수 있다.

하지만 담배의 갯수가 10개비로 늘어날 경우  $y=1\ast 10-4=6$ 으로 발병=1, 정상=0 의 범위를 넘어가게 된다.

즉, 독립변수 $x$ 는  $-\infty$ 에서  $\infty$ 의 범위를 갖는데 반해 종속변수  $y$ 는 1과 0 의 범주를 가지고 있어 기존 선형식으로는 표현이 불가능하다.

종속변수 범위의 확장

종속변수  $y$ 의 범위를   $-\infty$ 에서  $\infty$ 로 확장하기 위해 odds 비  $oddratio=\frac{p}{1-p}$ 와 로지트 함수(Logit function) $z=logit\left(oddsratio\right)=log\left(\frac{p}{1-p}\right)$ 을 이용한다.

odds ratio

실패 확률에 대한 성공 확률의 비율이다. 성공 확률을  $p$ 라고 한다면 실패 확률은  $1-p$ 가 된다.

이렇게 보았을때 odds 비는  $\frac{p}{1-p}$ 와 같이 표현할 수 있다.

$p$ 는 0에서 1사이의 값을 가지므로 위 식을 계산해 보면  $p$ 가 가장 작은 0일 경우  $\frac{0}{1-0}=0$ 값을 갖게 되고  $p$ 가 가장 큰 1이 되는 경우  $\frac{1}{1-1}=\frac{1}{0}=\infty$ 값을 갖게 된다.

다시 말하면 승산(Odds)이란 사건 A가 발행하지 않을 확률 대비 일어날 확률의 비율을 뜻하며  $odds=\frac{P\left(A\right)}{P\left(A^c\right)}=\frac{P\left(A\right)}{1-P\left(A\right)}$ 와 같이 쓸 수 있다.

승산(Odds)이 커질수록 사건  $A$ 가 발행할 활률이 커진다고 볼 수 있다.

이렇게 odds 비를 적용해  $p$ 에 대해 0부터  $\infty$ 의 범위를 갖는 새로운 함수를 만들 수 있다.

logit function

odds 비를 통해 0부터  $\infty$ 로 확장 시킨 범위를  $-\infty$ 에서  $\infty$ 로 확장하기 위해 odds에 자연로그를 취한다.

$logit\left(oddsratio\right)=ln\left(\frac{p}{1-p}\right)$

로지스틱 회귀 모델식 유도

1. 종속 변수  $Y$ 를 1이 될 확률로 두고 식을 세운다.
   $P(Y=1|X=\vec{x})={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_n{x}_n={\vec{\beta }}^T\vec{x}$
2. 좌변을 승산(odds)로 설정 한다.
   $\frac{P(Y=1|X=\vec{x})}{1-P\left(Y=1|X=\vec{x}\right)}={\vec{\beta }}^T\vec{x}$
3. 좌변(승산)에 자연로그를 취한다.
   $ln\left(\frac{P(Y=1|X=\vec{x})}{1-P\left(Y=1|X=\vec{x}\right)}\right)={\vec{\beta }}^T\vec{x}$
4. $x$ 가 주어졌을 경우 범우 1일 확률을  $p\left(x\right)$ , 위 식의 우변을  $a$ 로 치환해 확률  $p$ 에 대한 식을 도출한다.
   $\frac{p\left(x\right)}{1-p\left(x\right)}=e^a$ 
   $p\left(x\right)=e^a\left\{1-p\left(x\right)\right\}=e^a-e^{a}p\left(x\right)$ 
   $p\left(x\right)\left(1+e^a\right)=e^a$ 
   $p\left(x\right)=\frac{e^a}{1+e^a}=\frac{e^a}{1+e^a}\cdot \frac{\frac{1}{e^a}}{\frac{1}{e^a}}=\frac{1}{\frac{1}{e^a}+1}=\frac{1}{1+e^{-a}}$ 
   $P(Y=1|X=\vec{x})=\frac{1}{1+e^{-\left({\vec{\beta }}^T\vec{x}\right)}}$

이항 로지스틱 회귀의 결정 경계

이항로지스틱 모델에 범주 정보를 모르는 입력벡터  $x$ 를 넣으면 범주 1에 속할 확률을 반환해 준다.

범주 1로 분류할 수 있는 확률값은 다음과 같이 표현 할 수 있다.

$P(Y=1|X=\vec{x})>P(Y=0|X=\vec{x})$

범주가 두개이므로 위 식의 좌변을  $p\left(x\right)$ 로 치환하면 다음과 같이 식을 정리 할 수 있다.

$p\left(x\right)>1-p\left(x\right)$

$\frac{p\left(x\right)}{1-p\left(x\right)}>1$

${\beta }^{T}x>0$

마찬가지로  ${\beta }^{T}x<0$  이면 해당 데이터의 범주를 0 으로 분류할 수 있다. 따라서 로지스틱 모델의 결정경계 (decision boundry) 는  ${\beta }^{T}x=0$  인 하이퍼플레인 (hyperplane) 이다.

입력벡터가 2차원인 경우 다음과 같이 시각화 할 수 있다.