적률생성함수

1. 개요 및 정의2. 여러 가지 적률3. 적률생성함수의 성질4. 여러 가지 확률 분포의 적률생성함수

4.1. 정규 분포4.2. 이항 분포4.3. 기하 분포4.4. 푸아송 분포

5. 활용 사례

1. 개요 및 정의 [편집]

moment generating function · 積率生成函數

특정 확률 분포의 '적률'을 '생성'하는 '함수'이다. '모멘트 생성함수'라고도 하며, 약칭으로 MGF라고도 한다.

확률 변수 혹은 분포의

n

차 적률 혹은 모멘트(moment)는 확률변수의 거듭제곱의 기댓값으로, 다음과 같이 정의한다. 적률이 존재하지 않을 수도 있다.

\displaystyle \mu_n = \mathbb{E}[X^n]

적률 생성함수 혹은 모멘트 생성함수는 이들 적률을 계수로 갖는 급수로, 정확한 정의는 다음과 같다.

M_X(t) = \mathbb{E}[e^{tX} ]

만약 위 기대값이

t=0

의 근방에서 수렴한다면, 다음처럼 급수전개가 가능함을 증명할 수 있다.

\displaystyle M_X(t) = \mathbb{E}\left[\sum_{k=0}^{\infty} \frac{(tX)^k}{k!}\right] = \sum_{k=0}^{\infty} \frac{t^k}{k!} \mathbb{E}[X^k]

따라서 테일러 정리에 의해

\mu_n = M^{(n)}(0)

을 얻을 수 있다.

물론 이 모든 얘기는 확률변수

e^{tX}

가

t=0

근방에서 적분가능해야 의미가 있고, 이 조건이 만족되지 않으면 적률생성함수를 생각할 수 없다. 그러기 위해서는 모든 차수의 적률이 존재해야 할 뿐만 아니라, 이들이 너무 빠르게 증가해도 안 된다. 적률생성함수가 존재한다는 조건은 의외로 매우 까다로운 조건이다.

일변수일뿐만 아니라

X

가 다변수 확률 변수일 경우에도, 벡터함수로 적률생성함수를 정의할 수 있다. 이 경우에

tX

는 내적으로 간주한다. 이 다변수 세팅

X=(X_1,\, X_2,\, \cdots,\, X_n)

에서 적률생성함수의 테일러 급수는 결합 적률(joint moment)

\displaystyle \mu_{(k_1,\,k_{2},\, \cdots,\, k_n)} = \mathbb{E}[X_1^{k_1} \cdots X_n^{k_n}]

을 나타낸다고 볼 수 있다. 이 경우에는 일변수와 구별하기 위해서 결합적률생성함수(joint moment generating function)라는 이름으로 많이 부른다.

적률생성함수는 확률론 외적으로도 다양한 개념들과 관련을 짓고 있다.

이름에서 알 수 있듯이 적률생성함수도 생성함수의 일종이고, 의외로 비슷한 활용법들도 많다.
라플라스 변환을 보았다면 연속확률변수의 경우[1] 적률생성함수는 확률분포함수의 라플라스 변환임을 관찰할 수 있다.
라플라스 변환의 수렴 문제로 대신 푸리에 변환을 생각하듯이, 적률생성함수 대신에 확률분포함수의 푸리에 변환인 특성함수(characteristic function)

$\varphi_X(t) = \mathbb{E}[e^{itX}]$

들을 대신 생각하기도 한다. 성질은 사실상 거의 동일하지만, 이 특성함수는 모든 확률변수에 대해 존재한다는 장점이 있다.

2. 여러 가지 적률 [편집]

평균에 대한 적률: $Y=X-\mathrm E(X)$ 일 때, $Y$ 의 적률이 $X$ 의 평균에 대한 적률이다. 차수에 따라 다음과 같은 정보를 준다.
1차 적률
0[2]
2차 적률
$\mathrm V(X)=\{\sigma(X)\}^2$ [3]
3차 적률
분포의 왜도(歪度)
4차 적률
분포의 첨도(尖度)
계승적률: X의 거듭제곱 대신 계승인 ${}_X\mathrm P_n$ 을 사용한 적률.

분산은 각각의 적률을 사용해 3가지 방법으로 구할 수 있다.

정의를 이용하는 방법
$\mathrm V(X)=\mathrm E((X-m)^2)$
적률을 이용하는 방법
$\mathrm V(X)=\mathrm E(X^2)-\{\mathrm E(X)\}^2$
계승적률을 이용하는 방법
$\mathrm V(X)=\mathrm E(X(X-1))+\mathrm E(X)\{1-\mathrm E(X)\}$

보통은 1번이나 2번의 방법을 주로 사용하는데, 이항 분포 혹은 푸아송 분포, 혹은 기하 분포의 분산은 계승적률을 쓰는 방법이 나머지 두 방법보다 편리하다.

3. 적률생성함수의 성질 [편집]

다음 성질들을 증명할 수 있다.

$M_{X+c}(t) = e^{ct} M_X(t)$
$M_{kX}(t) = M_{X}(kt)$
$X, Y$ 가 독립이면 $M_{X+Y}(t) = M_X(t) M_Y(t)$ 이다.
두 확률분포의 적률생성함수가 동일하면, 두 확률분포는 동일하다.
확률변수 $X_n$ 의 적률분포함수가 $X$ 의 적률분포함수에 구간 내에서 수렴하면, $X_n$ 의 분포는 $X$ 의 분포에 수렴한다.

위의 두 일차변환 성질과 세번째 독립성 관련 성질은 정의를 따라가면 증명하기 쉬운 편이지만, 많은 경우 적률생성함수 계산에 핵심적 역할을 한다. 네번째/다섯번째 동일성, 수렴성의 경우는 적률생성함수가 확률변수를 역으로 결정할 수 있다는 중요한 의미를 가지지만, 엄밀히 증명하려면 라플라스 역변환이 필요하다.

4. 여러 가지 확률 분포의 적률생성함수 [편집]

4.1. 정규 분포 [편집]

표준정규분포

Z \sim N(0,1)

의 적률생성함수는 다음처럼

M_{Z}(t) = e^{{t^2}/2}

로 나타난다.

\displaystyle \begin{aligned} M_{Z}(t) &= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}}e^{-{z^2}/2}e^{zt} \,{\rm d}z \\&= e^{{t^2}/2} \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{-{(z-t)^2}/2} \,{\rm d}z \\&= e^{{t^2}/2} \end{aligned}

정규분포

N(\mu, \sigma^2)

는 표준정규분포

Z \sim N(0,1)

에 대해

X=\sigma Z + \mu

의 분포로 나타나므로, 따라서 이 적률생성함수는 위 일차변환 성질을 이용하면 다음처럼 나타난다.

\displaystyle M_{X}(t) = e^{\mu t + (\sigma^2 t^2/2)}

여담으로 다변수 정규분포를 다음의 생성함수를 통해서 '정의'하기도 한다.

\displaystyle M_{{\bf X}}({\bf t}) = \exp( {\bf \mu} \cdot {\bf t} + \frac{1}{2} {\bf t}^{T} {\bf \Sigma} {\bf t} )

여기서

{\bf \mu}

는 평균벡터,

{\bf \Sigma}

는 공분산행렬이다.

4.2. 이항 분포 [편집]

베르누이 시행의 적률생성함수가

p e^t + q

이므로, 이것의

n

회 독립시행의 누적인

(pe^t+q)^n

이 된다. 물론 이항정리를 활용해 다음처럼 증명할 수도 있다.

\begin{aligned} M_X(t)&=\displaystyle\sum_{k=0}^ne^{kt} \binom{n}{k} p^kq^{n-k}\\&=\displaystyle\sum_{k=0}^n \binom{n}{k}(pe^t)^kq^{n-k}\\&=(pe^t+q)^n \end{aligned}

4.3. 기하 분포 [편집]

\begin{aligned} M_X(t)&=\displaystyle\sum_{k=1}^\infty e^{kt}q^{k-1}p\\&=\dfrac pq\displaystyle\sum_{k=1}^\infty(qe^t)^k\\&=\dfrac pq\dfrac{qe^t}{1-(qe^t)}\\&=\dfrac {pe^t}{1-qe^t} \end{aligned}

수렴 범위는

qe^t<1

, 즉

t<-\ln q

이다.[4]

4.4. 푸아송 분포 [편집]

\begin{aligned} M_X(t)&=\displaystyle\sum_{k=0}^\infty e^{kt}e^{-\lambda}\dfrac{\lambda^k}{k!}\\ &=e^{-\lambda}\displaystyle\sum_{k=0}^\infty\dfrac{(e^t\lambda)^k}{k!}\\ &=e^{-\lambda}e^{e^t\lambda}\\ &=e^{\lambda(e^t-1)} \end{aligned}

5. 활용 사례 [편집]

중심 극한 정리의 증명 등등에서 핵심 도구로 쓰이고, 기타 조합론의 생성함수처럼 활용되는 경우도 있다. 다만 적률생성함수의 존재성은 매우 까다로운 조건이어서, 도구로 쓰인다면 상술한 특성함수를 쓰는 게 보편적이다. 적률생성함수가 특성함수를 제치고 쓰여지는 경우는 적률을 어림하는 부등식에서인데, 쉬운 예로는 젠센 부등식을 적용해서 바로 나오는

M_X(t) \ge e^{\mu t}

등이 있고, 기타 여러 가지 적률생성함수와 관련된 부등식들이 있다.

[1] 측도론적으로 생각하면 일반적인 경우에도 확률측도의 라플라스 변환으로 생각할 수 있다.[2]

\because\mathrm E(X-c)=\mathrm E(X)-c

[3] 분산의 정의는 편차의 제곱의 평균, 즉 평균에 대한 2차 적률이다.[4] 보통

t=0

을 대입하여 적률을 구하고,

0<q<1

에서

-\ln{q}>0

이기 때문에 적률을 구하는 데 이 수렴 범위는 아무런 문제가 없다.

1차 적률	0[2]
2차 적률	$\mathrm V(X)=\{\sigma(X)\}^2$ [3]
3차 적률	분포의 왜도(歪度)
4차 적률	분포의 첨도(尖度)