指数分布とガンマ分布 - ト部蛸焼のブログ

今回のテーマは「独立同一に指数分布に従う確率変数の和はガンマ分布に従う」という話です。これを2通りの方法で示します。なお，備忘録のつもりで書いているので，ここから常体に変わりますが悪しからず...

前提知識（定義，性質）
問題設定
和の分布の導出
- 畳み込みver.
- 特性関数ver.
まとめ
感想
追記
- ガンマ分布の特性関数 (2019年8月3日)

前提知識（定義，性質）

指数分布

指数分布 (exponential distribution) とは次の確率密度関数 $f(x)$ をもつ連続型分布のことを指す。
\begin{align}
f(x) = \left\{ \begin{array}{ll} \alpha \mathrm{e}^{- \alpha x} , & x \ge 0, \\
0, & x < 0.
\end{array} \right.
\end{align}パラメータ $\alpha$ は正のみを考える*1。パラメータ $\alpha$ の指数分布を $\mathrm{Ex}(\alpha)$ で表す。

ガンマ分布

ガンマ分布 (gamma distribution) とは次の確率密度関数 $f(x)$ をもつ連続型分布のことを指す。
\begin{align}
f(x) = \left\{ \begin{array}{ll} \dfrac{1}{\Gamma(n)} \alpha^{n} x^{n-1} \mathrm{e}^{- \alpha x}, & x \ge 0, \\
0, & x < 0.
\end{array} \right.
\end{align}ここに $\Gamma(n)$ はガンマ関数を表し，これは以下の式で与えられる*2。
\begin{align}
\Gamma (n) = \int_{0}^{\infty} t^{n -1} \mathrm{e}^{- t} \,\mathrm{d}t.
\end{align}パラメータ $\alpha, n$ はともに正のみを考える。 $n$ は自然数とは限らないが，今回は自然数しか考えない。パラメータ $\alpha, n$ のガンマ分布を $\mathrm{G}(\alpha, n)$ で表す。

なお，ガンマ関数については以下の等式が成り立つが，この証明は割愛する。

$n$ を自然数とすると， $\Gamma (n+1) = n!$ が成り立つ。
$\Gamma(n+1) = n \Gamma(n)$ が成り立つ*3。

畳み込み

2つの非負整数値のみをとる独立な確率変数 $X_{1}$ と $X_{2}$ に対し，その和 $Y = X_{1} + X_{2}$ を考える。 $Y$ も離散型確率変数であり， $Y$ の値が $y$ に等しい確率は
\begin{align}
P(Y=y) = \sum_{i=0}^{y} P(X_{1} = i) P(X_{2} = y - i)
\end{align}で計算できる。これは連続型の確率変数に応用できて， $X_{1}$ と $X_{2}$ を独立な確率変数とすると，確率密度関数について同様に
\begin{align}
f_{Y}(y) = \int_{t=0}^{t=y} f_{X_{1}}(t) f_{X_{2}}(y-t) \,\mathrm{d}t
\end{align}が成立する。このような演算を $f_{X_{1}}$ と $f_{X_{2}}$ の畳み込み (convolution) という*4。

特性関数

特性関数 (characteristic function) とは確率変数 $X$ に対して定義される次の関数 $\varphi_{X}$ のこと。
\begin{align}
\varphi_{X}(t) = \mathrm{E} \left[ \mathrm{e}^{\mathrm{i} t X} \right].
\end{align}ここで， $\mathrm{E} \left[ \cdot \right]$ で期待値を表す。

指数分布とガンマ分布の特性関数

指数分布 $\mathrm{Ex}(\alpha)$ の特性関数を $\varphi_{\mathrm{Ex}(\alpha)}(t)$ と書く。上の定義を用いて計算する。複素積分が登場するが，ここでは細かい議論をちょろまかして形式的に計算してしまうことにする。
\begin{align}
\varphi_{\mathrm{Ex}(\alpha)}(t) &= \int_{0}^{\infty} \alpha \mathrm{e}^{- \alpha x} \mathrm{e}^{\mathrm{i} tx}\,\mathrm{d}x \\
&= \alpha \int_{0}^{\infty} \mathrm{e}^{- (\alpha - \mathrm{i} t) x}\,\mathrm{d}x \\
&= \frac{\alpha}{\alpha - \mathrm{i} t}.
\end{align}

ガンマ分布 $\mathrm{G}(\alpha, n)$ の特性関数を $\varphi_{\mathrm{G}(\alpha, n)}(t)$ と書くことにする。ここで，計算の都合上， $n$ は自然数とする*5。この仮定は以下でなされる問題設定の下では議論に支障はない。
\begin{align}
\varphi_{\mathrm{G}(\alpha, n)}(t) &= \int_{0}^{\infty} \frac{1}{\Gamma(n)} \alpha^{n} x^{n-1} \mathrm{e}^{- \alpha x} \mathrm{e}^{\mathrm{i}tx} \,\mathrm{d} x \\
&= \frac{\alpha^{n}}{\Gamma(n)} \int_{0}^{\infty} x^{n-1} \mathrm{e}^{- (\alpha - \mathrm{i}t) x} \,\mathrm{d} x \\
&= \frac{\alpha^{n}}{\Gamma(n)} \left( \frac{1}{\alpha - \mathrm{i} t} \right)^{n} (n-1)! \\
&= \left( \frac{\alpha}{\alpha - \mathrm{i} t} \right)^{n}.
\end{align}ここで，関係式
\begin{align}
\int_{0}^{\infty} x^{n} \mathrm{e}^{- (\alpha - \mathrm{i} t)x}\,\mathrm{d} x = \left( \frac{1}{\alpha - \mathrm{i} t} \right)^{n+1} n!
\end{align}を用いた*6。この部分について末尾に追記しました。

指数分布とガンマ分布についてまとめれば，

指数分布 $\mathrm{Ex}(\alpha)$ の確率密度関数 $f(x)$ と特性関数 $\varphi(t)$ はそれぞれ

\begin{align}
f(x) = \alpha \mathrm{e}^{- \alpha x} ( x \ge 0 ) , \quad \varphi(t) = \frac{\alpha}{\alpha - \mathrm{i} t}.
\end{align}

ガンマ分布 $\mathrm{G}(\alpha, n)$ の確率密度関数 $f(x)$ と特性関数 $\varphi(t)$ はそれぞれ

\begin{align}
f(x) = \dfrac{1}{\Gamma(n)} \alpha^{n} x^{n-1} \mathrm{e}^{- \alpha x} ( x \ge 0 ) , \quad \varphi(t) = \left( \frac{\alpha}{\alpha - \mathrm{i} t} \right)^{n}.
\end{align}

特性関数と独立性

確率変数 $X_{i}$ が独立であれば，確率変数の和の特性関数は各確率変数の特性関数の積になる。これは先の畳み込みのところと対応させていえば，「畳み込みが積になる」ということである。これは以下のようにして示される。
\begin{align}
\mathrm{E} \left[ \exp \left( \mathrm{i} t \sum_{i=1}^{n} X_{i} \right) \right] &= \mathrm{E} \left[ \prod_{i=1}^{n} \exp \left( \mathrm{i} t X_{i} \right) \right] = \prod_{i=1}^{n} \mathrm{E} \left[ \exp \left( \mathrm{i} t X_{i} \right) \right].
\end{align}ここで，最後の等号は独立性の仮定によって従う。

問題設定

ようやく本題に入る。いま， $X_{1}, \dots, X_{n}$ が独立に同一な分布 $\mathrm{Ex}(\alpha)$ に従うとし， $Y_{n} = \displaystyle \sum_{i=1}^{n} X_{i}$ とする。 $Y_{n}$ の確率密度関数を $f_{n} (y)$ と書く。この $Y_{n}$ の確率密度関数を次の2通りの方法で求める。

畳み込み
特性関数

和の分布の導出

畳み込みver.

畳み込みは帰納的に計算できるので，帰納法で示す。

$n=1$ のとき

$Y_{1} = X_{1} \sim \mathrm{Ex}(\alpha)$ であることと， $\mathrm{G}(\alpha, 1)$ の確率密度関数 $f_{1}(x)$ が
\begin{align}
f_{1} (y) = \dfrac{1}{\Gamma(1)} \alpha^{1} y^{1-1} \mathrm{e}^{- \alpha y} = \alpha \mathrm{e}^{- \alpha y}
\end{align}と書き直されることから $Y_{1} \sim \mathrm{G}(\alpha,1)$ となる。

$n=k$ から $n=k+1$ のときへ

いま， $Y_{k} \sim \mathrm{G}(\alpha, k)$ とする。畳み込みを行う。
\begin{align}
f_{k+1}(y) &= \int_{0}^{y} f_{k}(y-t) f_{1}(t) \,\mathrm{d} t \\
&= \int_{0}^{y} \frac{1}{\Gamma(k)} \alpha^{k} (y-t)^{k - 1} \mathrm{e}^{- \alpha (y-t)} \alpha \mathrm{e}^{-\alpha t} \,\mathrm{d} t \\
&= \frac{\alpha^{k+1}}{\Gamma(k)} \mathrm{e}^{- \alpha y} \int_{0}^{y} (y-t)^{k - 1} \,\mathrm{d} t \\
&= \frac{\alpha^{k+1}}{\Gamma(k)} \mathrm{e}^{- \alpha y} \frac{y^{k}}{k} \\
&= \frac{1}{\Gamma(k+1)} \alpha^{k+1} y^{k} \mathrm{e}^{-\alpha y}
\end{align}ここで，関係式 $\Gamma(k+1) = k \Gamma (k)$ を用いた。したがって， $Y_{k+1} \sim \mathrm{G}(\alpha, k+1)$ である。

特性関数ver.

特性関数の性質を踏まえると $Y_{n} = {\displaystyle \sum_{i=1}^{n} X_{i}}$ の特性関数は以下のように計算できる。
\begin{align}
\varphi_{Y}(t) = \prod_{i=1}^{n} \varphi_{X_{i}}(t) = \left( \frac{\alpha}{\alpha - \mathrm{i} t} \right)^{n}.
\end{align}これはガンマ分布 $\mathrm{G}(\alpha, n)$ の特性関数に一致する。

実は連続型分布において，特性関数と確率密度関数は1対1に対応する*7ので， $Y_{n}$ はガンマ分布 $\mathrm{G}(\alpha, n)$ に従う。

まとめ

指数分布 $\mathrm{Ex}(\alpha)$ の確率密度関数 $f(x)$ と特性関数 $\varphi(t)$ はそれぞれ

\begin{align}
f(x) = \alpha \mathrm{e}^{- \alpha x} ( x \ge 0 ) , \quad \varphi(t) = \frac{\alpha}{\alpha - \mathrm{i} t}.
\end{align}

ガンマ分布 $\mathrm{G}(\alpha, n)$ の確率密度関数 $f(x)$ と特性関数 $\varphi(t)$ はそれぞれ

\begin{align}
f(x) = \dfrac{1}{\Gamma(n)} \alpha^{n} x^{n-1} \mathrm{e}^{- \alpha x} ( x \ge 0 ) , \quad \varphi(t) = \left( \frac{\alpha}{\alpha - \mathrm{i} t} \right)^{n}.
\end{align}

同じ指数分布に独立に従う確率変数の和はガンマ分布に従う。

感想

畳み込みは確率密度関数から素直に計算する分，計算の分量が多いが，一方で必要な知識は確率密度関数の表式だけで済むので嬉しい。一方で，特性関数を使う方法は計算の分量は少なくて済んで嬉しいが，計算結果がどんな確率密度関数に対応しているかを知っていないといけない。が，そこは特性関数のやっていることは逆Fourier変換であるから，Fourier変換をすれば問題はなさそう。とはいえ計算の分量がその分だけ増えてしまうので，それやるならいっそ畳み込みたい。

追記

ガンマ分布の特性関数 (2019年8月3日)

後の勉強により， $n$ が自然数のときに限らない計算の方法を知ったので，それを追記。ここでも複素積分の議論はちょろまかしてしまうことにする。 $y = (\alpha - \mathrm{i} t) x$ と途中で変数変換すると簡単に計算できる。なぜこれを思いつかなかったのか……
\begin{align}
\varphi(t) &= \int_{0}^{\infty} \mathrm{e}^{\mathrm{i} t x} \frac{1}{\Gamma(n)} \alpha^{n} x^{n-1} \mathrm{e}^{- \alpha x} \,\mathrm{d}x \\
&= \frac{\alpha^{n}}{\Gamma(n)} \int_{0}^{\infty} \left( \frac{y}{\alpha - \mathrm{i} t} \right)^{n-1} \mathrm{e}^{- y} y^{n-1} \,\mathrm{d}y \\
&= \left( \frac{\alpha}{\alpha - \mathrm{i} t} \right)^{n}.
\end{align}

*1:負のときを考えると $x \ge 0$ 全体で積分すると発散してしまう。

*2:今回は $n$ が自然数のときしか考えないのでここまで出す必要はないかもしれない。

*3:この式が $n$ が自然数のときで成立することは階乗に直せば明らか。

*4:離散型でも連続型でもよい。

*5: $n$ が整数でないときも表式は同じ形になる。

*6:この関係式は，\begin{align} I_{n} = \int_{0}^{\infty} x^{n} \mathrm{e}^{- (\alpha - \mathrm{i} t)x}\,\mathrm{d} x \end{align} とおいて部分積分をすれば形式的に漸化式 \begin{align} I_{n} = \frac{n}{\alpha - \mathrm{i} t} I_{n-1} \end{align} を得る。ここから計算すればよい。

*7:イメージはFourier変換の前と後とが1対1に対応するのと同じ。ところで，特性関数は逆Fourier変換をしているとも思えるので「イメージ」と呼ぶには違和感があるかもしれない。