正規分布の条件付き分布

多変量正規分布の条件付き分布が正規分布であることについて説明します。2変量正規分布の場合の例と，一般の場合の導出を紹介します。

= ( μ A μ B ) ， Σ = ( σ A 2 ρ σ A σ B ρ σ A σ B σ B 2 ) \Sigma=\begin\sigma_A^2&\rho\sigma_A\sigma_B\\\rho\sigma_A\sigma_B&\sigma_B^2\end Σ = ( σ A 2 ρ σ A σ B ρ σ A σ B σ B 2 ) とおけます（ ρ \rho ρ は2つの変数の相関係数で， σ A , σ B \sigma_A,\sigma_B σ A , σ B は標準偏差）。

よって， μ A ∣ B = μ A + ρ σ A ( x B − μ B ) σ B \mu_=\mu_A+\rho\sigma_A\dfrac μ A ∣ B = μ A + ρ σ A σ B ( x B − μ B ) Σ A ∣ B = σ A 2 ( 1 − ρ 2 ) \Sigma_=\sigma^2_A(1-\rho^2) Σ A ∣ B = σ A 2 ( 1 − ρ 2 ) となります。

ρ = 0 \rho=0 ρ = 0 なら， μ A ∣ B = μ A \mu_=\mu_A μ A ∣ B = μ A かつ Σ A ∣ B = σ A 2 \Sigma_=\sigma_A^2 Σ A ∣ B = σ A 2 ，つまり「 x B x_B x B の情報を得ても x A x_A x A の情報はわからない」
ρ = ± 1 \rho=\pm 1 ρ = ± 1 なら， Σ A ∣ B = 0 \Sigma_=0 Σ A ∣ B = 0 ，つまり「 x B x_B x B の情報を得ると x A x_A x A が完全に決定される」

条件付き確率の定義式 P ( x A ⃗ ∣ x B ⃗ ) = P ( x A ⃗ , x B ⃗ ) P ( x B ⃗ ) P(\vec\mid\vec)=\dfrac P ( x A ∣ x B ) = P ( x B ) P ( x A , x B ) を使うために，多変量正規分布の確率密度関数 P ( x A ⃗ , x B ⃗ ) P(\vec,\vec) P ( x A , x B ) からスタートして計算していく。
途中で，「ブロック行列を3つの行列の積に分解する」ことで，2次形式を分解する。

正規分布の確率密度関数より， x undefined \overrightarrow x

) > である（ C C C は正規化定数）。既知の部分 x B ⃗ \vec x B

と未知の部分 x A ⃗ \vec x A

にわけて計算したいが， Σ − 1 \Sigma^ Σ − 1 は分割できない。そこで，ブロック行列の逆行列の公式の証明中の式（と類似のもの）： Σ − 1 = ( I O − Σ B B − 1 Σ B A I ) ( S − 1 O O Σ B B − 1 ) ( I − Σ A B Σ B B − 1 O I ) \Sigma^=\beginI&O\\-\Sigma_^\Sigma_&I\end\beginS^&O\\O&\Sigma_^\end\beginI&-\Sigma_\Sigma_^\\O&I\end Σ − 1 = ( I − Σ BB − 1 Σ B A O I ) ( S − 1 O O Σ BB − 1 ) ( I O − Σ A B Σ BB − 1 I ) （ただし， S = Σ A A − Σ A B Σ B B − 1 Σ B A S=\Sigma_-\Sigma_\Sigma_^\Sigma_ S = Σ AA − Σ A B Σ BB − 1 Σ B A ）を使って2次形式の部分を分解すると， ( x ⃗ − μ ⃗ ) ⊤ Σ − 1 ( x ⃗ − μ ⃗ ) = < ( x A ⃗ − μ A ⃗ ) − Σ A B Σ B B − 1 ( x B ⃗ − μ B ⃗ ) >⊤ S − 1 < ( x A ⃗ − μ A ⃗ ) − Σ A B Σ B B − 1 ( x B ⃗ − μ B ⃗ ) >+ ( x B ⃗ − μ B ⃗ ) ⊤ Σ B B − 1 ( x B ⃗ − μ B ⃗ ) \begin&(\vec-\vec)^\Sigma^(\vec-\vec)\\ &=\^S^\\ &\:\:\:\:\:\:\\\ &\:\:\:+(\vec-\vec)^\Sigma_^(\vec-\vec)\end ( x

) − Σ A B Σ BB − 1 ( x B

) となる。この第二項から P ( x B ⃗ ) P(\vec) P ( x B

) が出てくるので， P ( x A ⃗ , x B ⃗ ) = f ( x A ⃗ , x B ⃗ ) × P ( x B ⃗ ) P(\vec,\vec)=f(\vec,\vec)\times P(\vec) P ( x A

) という形になる。ただし， f f f は上記第一項から出てくる分布（ exp ⁡ \exp exp の中身が多変数の2次関数なので，多変量正規分布）。

よって，求める条件付き分布は， P ( x A ⃗ ∣ x B ⃗ ) = P ( x A ⃗ , x B ⃗ ) P ( x B ⃗ ) P(\vec\mid\vec)=\dfrac P ( x A

) なので， f f f である。つまり，多変量正規分布であり，その平均 μ ⃗ A ∣ B \vec_ μ

A ∣ B と分散共分散行列 Σ A ∣ B \Sigma_ Σ A ∣ B は以下のようになる： μ ⃗ A ∣ B = μ ⃗ A + Σ A B Σ B B − 1 ( x B ⃗ − μ B ⃗ ) \vec_=\vec_A+\Sigma_\Sigma_^(\vec-\vec) μ

A + Σ A B Σ BB − 1 ( x B

) Σ A ∣ B = S = Σ A A − Σ A B Σ B B − 1 Σ B A \Sigma_=S=\Sigma_-\Sigma_\Sigma_^\Sigma_ Σ A ∣ B = S = Σ AA − Σ A B Σ BB − 1 Σ B A