樽本　慶

入力の未知変動を考慮したリカレントニューラルネットワークの学習
樽本　慶 1．背景

一般に時系列データから対象システムの入出力関係をリカレントニューラルネットワークに学習させる場合，未知変動や外乱等によって対象システムの実際の入出力と学習に用いる教師データは異なっている．その違いが小さいものであれば，ネットワークの学習はあまり影響を受けず，対象システムの入出力関係をうまく表現できるネットワークを得ることができる．しかし，その違いが大きくそれがシステムの振る舞いに大きな影響を与える場合，望ましいネットワークを得ることは困難になる．例えば，対象システムの実際の入出力を直接計測できない場合，それらを他のデータから推定することがある．この推定値を教師信号とした場合，この信号には現れない大きな変動が実際の入出力に含まれていると，現実の入出力とは全く違う教師データで学習を行なうことになるから望ましいネットワークを得ることはできない．

2．目的

本研究では，対象システムの実際の入力が未知の変動を含んでいて，教師データからはそれを知ることができない状況を想定し，通常の学習パラメータの更新とともに入力を修正するリカレントニューラルネットワークの学習アルゴリズムを提案する．そして，このアルゴリズムが，入力に未知変動を含んだ教師データから対象システムの入出力関係を学習するのに有効な方法であるか数値実験により検証する．

3．入力の未知変動を考慮した学習

従来の学習法(Epochwise Back Propagation Thorouh Time)では出力二乗誤差を減少させるためにネットワークの結合荷重を更新していく．しかし，本学習法ではネットワークの入力信号についてもその未知変動を考慮しながら更新する．この入力信号の更新には，入力信号に関する出力二乗誤差の勾配を用いることになる．また，本学習法は本質的にはニューラルネットワークにおける逆問題であり，入力を自由に変化させるとその解は多数存在することになる．そこで，入力の未知変動をステップ的な形状のものに限定することで解の個数を減らしこの問題を解きやすくし，従来の学習法よりよいネットワークを得る．

4．おわりに

本研究では真の入力と学習データに相違がある場合において，入力の未知変動を考慮しながら学習する方法を提案した．そして，数値実験の結果，従来の学習に比べて学習対象システムにより近い入出力特性をもつネットワークを得ることを確認できた．今後の課題としては，

入力の未知変動の開始時点の推定に関してもっとよい方法を見つけること．
複雑な未知変動をもつ入力信号に対する本学習法の適用．
複雑な対象システムに対する本学習法の適用．

が挙げられる．