線形システムとして機能するユニットに着目した
リカレントニューラルネットワークの低次元化アルゴリズム
佐々木　貴之 1．はじめに

本研究では，リカレントニューラルネットワークの低次元化手法の新しい手 法する．学習済の非線形リカレントニューラルネットワーク中のユニットに は，実際には線形システムとして機能しているものがある． 本手法は，ユニットの出力範囲に基づいて，線形サブシステムを発見し， 線形システムの低次元化手法であるMooreの手法を用いて不要なユニットを削 除するものである．

2．本研究におけるネットワーク

本研究では，3層型リカレントネットワークで中間層ニューロンにのみ互いに フィードバック結合をもつネットワーク構造を用いる． ニューロンの出力関数は，入力層および出力層ニューロンは恒等変換， 中間層ニューロンはシグモイド関数である． このネットワークを用いてEpochwise Back Propagation Though Time法 により学習を行う．

3．線形サブシステム構造の発見

学習後のリカレントニューラルネットワークにおいて，動的ユニットである 中間層ユニットの内部状態を調べると，その出力は，ユニットにもよるが， ある一定範囲内に収まっており，ユニットの出力の最大値，最小値を求め， これらがどういった範囲にあるかによって線形ユニットとして機能している か否かを特定していく． 例えば，最大値，最小値の範囲が閾値付近にあるようなユニットでは，シグ モイド関数が閾値付近では直線に近い形をしているので，出力関数は最大値， 最小値を通る直線に近似でき，こういったユニットは線形ユニットとして機 能していると判断できる． 逆に，出力範囲が2値化しているようなユニットは非線形ユニットとして機 能していると判断できる． こうして，線形ユニット群，非線形ユニット群をそれぞれ1つのサブシステ ムとみなす．

4．Mooreのシステムモデル低次元化手法

線形ユニット群，非線形ユニット群をそれぞれ1つのサブシステムとした後， 線形サブシステムについて線形システムの低次元化手法であるMooreの手法 により，不要なユニットの削除を行う．そして，Mooreの手法によって低次 元化された線形サブシステムと，非線形サブシステムを組み合わせて新しい ネットワークを構築し，その出力が教師信号を十分再現可能であるかどうか を評価していく．

5．まとめ

数値実験から，このアルゴリズムにより，普通は表に表れない動的ユニット の特性を保ったまま，与えられた入出力関係を満たすできるだけ低次元化さ れたネットワークを得ることができ，その有効性を確認することができた． 今後の課題としては，低次元化されたネットワークがよりよい精度で教師信 号を実現可能にするために，再学習を取り入れることや，ユニットの特性が よりはっきりと分かれるような工夫を施すことなどが挙げられる．