イメージに応じた演奏を生成するシステムの基礎検討
西田研究室 山口 純
１. はじめに
トレンディドラマやアニメーション，あるいはゲームなどのようにパーソナル指向でかつ短期間に強い印象を視聴者に与えようとするメディアでは，近年テーマ音楽を重視し，テーマ音楽を重要なシーンで様々に変奏して繰り返し劇伴に用いることが多くなってきている．こうしたメディア作品を制作する際には，映像技術出身の監督が自分のイメージに最も近い曲を例にあげながら雰囲気づけを言葉で作曲者に説明する事が多いが，スムーズに意思疎通できない場合も少なくない．また，近年のコンピュータ技術の発達で，個人ユーザでも高水準なメディア作品の制作が可能になり映像に音楽を付加する事が一般化してきているが，音楽経験のないユーザにとって一から作編曲に取り組むのは負荷が大きい．このように，楽典的知識のないユーザが原曲をシーンに応じて簡単に変奏したいという要求は広く存在する．そこで，本研究ではMIDIファイルで与えられたテーマ音楽をユーザのイメージに近い曲に変奏するシステムを開発するための基礎検討を行う．
最近，上記の目的に応用できる作編曲ソフトも市販されてはいるがそれらは音楽フレーズか楽典のデータベースに近く，前者は元々持っている演奏パターンをつなぎ合わせるだけであり，後者はより高度な専門知識を駆使して能動的に音楽を作らねばならない．そこで，本研究では，音楽的に完全ではなくてもユーザの意図する雰囲気が伝わればよいとし，それよりもイメージを与えることによって手軽にインタラクティブな変奏を可能にする事を目的としている．
２. システムの概要
システムの構成を図１に示す． 本システムは，大きく次の３つの部分から構成される．
- 音楽構造分析部
- イメージ変換・検索部
- 編曲方法提示部（自動適用で演奏生成部に発展）
前述したように，ユーザは原曲をMIDIファイルで，また原曲を編曲したいイメージをImpressionとSituationという二つの要素に分けてシステムに与える．Impressionは形容詞に代表される雰囲気を示す単語であり，Situationはシーンの状況を示す単語である． これは映像作品に音楽を付加する作業を前提としているためで，映像作品ではシーンの状況によって雰囲気の解釈が異なってくるためである．
システムは，まず音楽構造分析部で原曲のMIDI演奏情報からコード進行，キー，コードの機能を分析する．さらに分析結果に対し相互相関関数とルールを用いて曲の階層構造を推定する．これは編曲ルールを選択したりそのルールを適用する範囲を決定するために必要な音楽情報である．次に，イメージ変換・検索部では，Impression・Situationに関するユーザー入力からユーザーのイメージを心理空間上に推定する．そのために，編曲ルールと編曲結果及びユーザ入力語との関連性を心理実験などによって調べ心理空間を作成した．最後に，編曲方法提示部ではイメージ検索によって抽出された編曲方法を提示し，また矛盾やルールで与えられない内容を含む場合は確信度付き推論によってユーザの意見を聞きながらユーザの編曲を支援する．なお，将来的には音で出力を可能にする予定である．
図 1 システム構成
３ 実験・評価
本システムの編曲結果を評価するために大学生４名の被験者を用いた実験を行った．実験では編曲システムにImpressionとSituationを与え，その出力結果が，
- 自分のイメージと合っているか．
- 合っている部分はどこか．
- 合っていない所があるとすれば，それはどこか．
- 自分のイメージに最も適合する曲例は何か．
について，繰り返し様々な条件設定で評価してもらった．その結果の一部を図２に示す．これは，（財）カラーデザイン研究所の小林によって提案された色彩や絵のイメージスケールに基づいて，将来的に映像との関連づけを行う本研究用に我々が作成したものであり，音楽イメージの基本特性分類を目的としている．
この図より，原曲，入力１，３によって編曲された結果は各人の評価がそれぞれ近い範囲に集まっており，イメージに差が少ない事を示している．これは事後の聞き取り調査によって，比較的編曲がうまくいった例であると判断できた．一方，入力２はユーザに与えたイメージが分散していたが，これは編曲知識が少なかったりイメージの変換がうまくいっておらず，ユーザの評価が分かれる結果になったと考えられる．なお，原曲自身が元々持つイメージが変奏・編曲の出発点として重要であり，本システムの編曲方法では生成できないイメージ領域も存在した．
図 2 イメージ評価マップ（ここでは二次元のみ示す）
４ まとめ
本研究では，ユーザの与えるシーンとイメージに近い音楽をインタラクティブに生成する手法を検討し，実際にプロトタイプ・システムを作成した．また，被験者を用いた評価実験によってその有効性を検証した．今後は具体的な画像や映像とそれらのイメージ及び実際の変奏の関連性について検討し，編曲ルールやその適用アルゴリズムの改良に取り組む予定である．