Toeplitz構造をもつ共分散行列の最尤推定
藤井研究室　　 山本　晃一郎

1.はじめに

本研究の目的は，正規分布に従うデータから 母数としてToeplitz構造をもつ共分散行列を最尤推定することである．
一般的な方法としてNewton法などを用いた通常の最適化法があるが， 問題点は，良い初期値が必要となることである． また，別の方法としてEMアルゴリズムがある． これは，指数型分布族を対象とする場合とても有効な方法であるが， 収束点が最尤推定値とはかぎらず，初期値の与え方に指針がない．
そこで，本研究では，カルバック情報量の双対を用いて初期値候補を与える方法を提案する．

2.カルバック情報量とその双対

p次元の正規分布N_{p}(0,R):(R>0)において， 標本共分散行列Sを与えると，求めたいRは尤度

g(S,R)=-log|R|-tr(R^{-1}S) (1)

を最大化するRとなる．
ここで，カルバック情報量

D(S,R)=log|R|-log|S|+tr(R^{-1}S)-p (2)

を考える．S,pが既知なので，最尤推定法で 式(1)を最大化することとカルバック情報量Dを最小化することは同値とな る．但し，Dは凸関数でないために最小化するには良い初期値を与えてやらねば ならない．
ここでDの双対
D^{\ast}(S,R)=D(R,S)
　　　　　=log|S|-log|R|+tr(S^{-1}R)-p (3)

を考えると，これは凸関数となり最小値は求めやすい． また，S{\simeq}RのときD^{\ast}(S,R){\simeq}D(S,R)つまり， D^{\ast}を最小化するRは Dを最小化するR(求めたい最尤推定値)の近傍にあると考えてよい．
いっぽう，EMアルゴリズムは， 中間変数を設定して間接的に最尤推定する方法である． ここでは説明を割愛させて頂く．

3.シミュレーション

標本共分散を3つ例にとり，式(1)をNewton法で解いた場合と， EMアルゴリズムでRを推定した場合を比較した．その際， パラメータ初期値R^{(0)}を正定性に注意してランダムに与える．
次に，式(3)でRを求め，それを初期値として式(1)とEMアルゴリズムに 与える．

4.結果

EMアルゴリズムでは，初期値によって10^{-2}のオーダーで異なるいくつかの推定値が 得られ，Newton法では初期値によっては発散する場合もあった．
しかし，式(3)で得られたRを初期値として与えると，どちらの方法でも真値に かなり近い推定値が得られた．
本研究では，Toeplitz構造に限定したが，カルバック情報量の双対で 初期値を求めNewton法に用いるこの方法は，他の線形制約の場合にも 適用可能である．