楽器演奏場面の映像と演奏データの多重化の技術と活用とその意義

概要；楽器の演奏情報処理のひとつの手法として、楽器の演奏場面の映像と演奏データと音声情報を同期
させて多重化する技術を紹介し、それを活用した研究事例を挙げてその意義と課題について述べる。

The technology of the multiplexing of the image of the instrument performance scene and
the performance data, use and that meaning

Abstract ; The technology of the multiplexing of the image of the performance scene of the instrument, the performance data and the sound is introduced as one technique of the performance information processing of the instrument. The research case which it made use of this technology for is given, and that meaning and subjects are mentioned.

はじめに

　ピアノの演奏系に関わる技術の展望（図１）のなかで，演奏意図と演奏行為をいかに情報化するかがひとつの課題である。本報告では、楽器の演奏場面の映像と音と演奏データを演奏情報として多重化して捉える技術とその活用事例を紹介して、その意義と課題を考察する。関連する研究事例も文献や特許情報を参照して解説する［１］。

　　　　　　　　　　　　　図１　ピアノ演奏系と技術展望

１． テレミュージック

　テレミュージックは、主として演奏情報の実時間放送を行い、楽器演奏と映像・音声とを同期させて放送することも可能な、放送として統一的に使用できる符号によるサービスである。BSデジタルデータ放送の番組を想定して規格化されたものであるがCS放送にも適応できる。実験やイベントでは検証されながらも事業化の採算性の点でいまだに実用化されていない。伝送確認実験の系統図を図２に示す。受信端末機のイメージを図3に示す。なお、テレミュージック放送では演奏の再生に付随して必要となる情報を文字で表示することができ、その必要性も確認されている。再生ピアノの中には受信から発音までに５００ｍｓ遅れるものがあり、送信側で映像と音声よりも演奏データを５００ms進めて送出して、受信側で再生ピアノに合わせて微調整するようにしている。映像と音声は同期していることが前提であり、少なくとも映像より早く発音しては違和感があり、１フレーム（３３ｍｓ）以上遅れるとずれていると感ずる。伝送される演奏データは放送電波の公共性を配慮して、より奏法に対応する、独自のテレミュージック符号［２］としている。MIDIデータにも対応するものである。

　　　　　　　　　　図２　テレミュージック伝送確認実験系統図

　　　　　　　　　　図３　テレミュージック受信端末機のイメージ

山間部や僻地でもデータ放送の受信ができて、再生用のピアノがあれば、リアルタイム的に著名なピアニストの演奏を映像とともに楽しむことができる。もちろん受信再生の装置があれば家庭でも楽しめるが、パブリックなゾーン、ホテルのロビーなどで楽しむことができることが意義深い。ピアノが自動で鳴っていても何なのかわからないわけであるが、映像と文字による説明があるのでわかり易い。

再生ピアノの再現性がより高いものが普及することが期待される。電子ピアノもより奏法に対応した音源のものが望まれる。再生音場の特性もシミュレーション設定できると良い。リアルタイム性の点に於いては送信から受信までの伝送経路によって約0.5秒遅れることになる。番組は演奏情報として楽しめるものであり，番組によっては教育効果も上がるものである。放送の公共性、同報性からして放送事業者、又は教育事業者主導による事業化が望まれる。一般家庭への普及というよりは、教育の現場や公共の場への導入が現実的である。

２．VTR-MIDI、DVD-MIDI

　　　楽器の演奏場面の映像と演奏データと音声情報の多重化の方法として、パッケージメデイアに記録再生するシステムを検討した。まずよく普及しているVTRへの記録再生を検討した。演奏データのMIDI信号を音声トラック（R）に記録する方式［３］とVBL（垂直ブランキング）の帰線消去区間（10〜19ライン）に記録する方式（図４）を試みた。この範囲であれば映像には影響しない。

　　　　　　　　　　　　　　　図４　VBL記録方式

VBL記録方式はパケット方式で、１走査線に１パケット記録し、これを２度書きする。フィールド当たり５パケット記録して、最大伝送レートはMIDI換算で９Kbpsとなり、ハーフペダルを多用する楽曲であっても十分に対応できる。記録時のバッファーメモリー６４KBを有し、バルク伝送にも対応できる。

DVDではVTRと同様に演奏データのMIDI信号を音声トラック（R）に記録する方式を試みた。

下図は、（アナログ）映像フィールドの一部を使い、そこへＭＩＤＩ信号をコー ディックする場合を示す。

ＤＶＤ等への書き込みに伴って､ＭＰＥＧ２へ変換された後も正しく復調されていることも確認された。

パッケージメディアの活用範囲は広く、実用化のためには安価な再生専用アダプターが望まれる。普及のためにはソフトの充実が必須で、そのためにはメディアの編集製作の環境整備が望まれる。ソフトが増えればデータベース化してオンデマンドでネット対応も可能となる。録再型アダプターによれば自作自演のソフトを作ることもできる。

３．遠隔レッスン；ゲストティーチング、CATVレッスン

　教育の情報化の一環として、学校の音楽授業の現場でも遠隔授業が試みられており、特に楽器演奏の実技授業に於いては演奏データと映像音声の送受信により、リアリティのある情報の伝達が望ましい。著名な演奏家があたかも教室にきて実際に演奏しているかの状況は、いわゆるゲストティーチングとして子供たちに感動を与えるものである。ピアノ演奏実技の自学自習システムP−PLAN［４］をいち早く導入した鳴門教育大学とその付属小学校の間で検討されているシステムの思案を図５に示す。ここでMIDIアダプターは電話回線を前提にして約７Kbpsに対応するものである。ピアノのMIDIデータは、打鍵数が多くてハーフペダル対応の楽曲でも５Kbps程度であり、十分に対応できる。

学校の音楽授業の場合は双方向性とインタラクテイブ性が大切で、そこでは何処までリアルタイム的にできるかが問われる。思案のTV会議システムをベースとするシステムでは画質のクオリティもさることながら、送受信で４０〜５０ｍｓの遅延を生じ、インタラクティブ性の面で実用的に難がある。より高速な回線の普及が望まれる。しかし少なからずの遅延を生ずるので、それを前提にした運用が必要である。

これはまたCATVによるピアノレッスンにも活用できるものである。CATVの音声の伝送品質は基本的には電話なみ（約７KHz以下に対応）であり、この方式で送受信できることは検証済みである。

　　　　　　　　　　　　　　図５　遠隔授業システム構想

４．サイレントアンサンブル

　最近サイレント楽器と言われる、音量の小さい、又は楽音を発生しない楽器が演奏されている［５］。しかもサイレント楽器のアンサンブルやセッションも行われている。しかしそのシーンには説明がないと何をしているのかわからない。またサイレント楽器で録音されるケースもあるが、やはり説明がないとその認識ができない。そんな状況の説明として映像が欲しい。サイレント楽器がＭＩＤＩなどの演奏データなどを発生するものであればそのデータも同時に記録できると良い。このような演奏場面に対応するシステムの事例を図6に示す。

　　　　　　　　　　　図６　楽器演奏記録再生システム

演奏に使われる楽器として、サイレント楽器は有用ではあるが、さらに良い音と奏法データを検出する仕組み[６]が望まれ、再生側の音源としても、これに対応した、より高音質な音源方式が求められる。

５．奏法解析と演奏トレーニング

　演奏法を解析したり、その意味付けをすることも音楽情報処理の一つの目的である。ここではピアノの奏法を解析したり、ピアノの演奏トレーニングを運動生理学的に科学的に行うために、自動演奏ピアノを使って演奏データと演奏映像の同時記録再生評価システムを構築して成果をあげた事例を紹介する。システム構成を図7に示す。VBL方式のMMAと、映像と音声の遅延装置を使って多重化している。

　　　　　　　　　　　　　図７　ピアノ奏法解析システム

６．通信による遠隔セッションの試み

　　　実験レベルの試みではあるが枚挙に暇がないほどである。15年以上前には地上波のＩＳＤ

Ｎでイベント的に試みられたものである。仙台と東京のＮＨＫホールの間でピアノの自動演奏の伴奏で、両会場を2元中継で同時的に大合唱されたこともあった。霞ヶ関ビルとＮＴＴビルの間でピアノとドラムとギターのセッションが映像と音声とＭＩＤＩデータを通信して2元同時的セッションをしたこともある。20ｍｓ程度の時間遅れがあり、タイミング的にやや違和感のあるものであった。特にドラムのように立ち上がりの早い楽器の場合はその遅れは致命的である。その後も世界各地でも試みられた。フランスのニースとアメリカのロスの間でピアノの連弾がおこなわれたり、ロスとＮＴＴビル間でピアノの遠隔指導がおこなわれたりした。

　インターネットが普及し始めるとこれを利用した遠隔レッスンの試みも行われるようになったが、時間的なずれの問題は解決できていないわけであり、その実用化には至っていない。ＴＶ会議システムも利用されたが、その映像のクオリテイと音質の品質と時間遅れのためにやはり実用化には難があった。楽器の演奏に於いては、音質のクオリティの高さとタイミングのずれが十分に小さいことが必須であることが再認識されたわけである。

７．メデイアアートの試み

　　　映像と音声とピアノの演奏場面の同時記録再生の試みはアートの世界でも試みられて

　　いる。坂本龍一氏がＣＧとライブ演奏を連動させたコンサートを開いている。岩井俊雄氏が

　　ＭＩＤＩピアノをメディアとしてＣＧアートを創作するライブを開いている［７］。いずれも新しいアートへの挑戦であり、今後もＩＴ時代の21世紀において期待される分野である。多機能なピアノはメディアへの仲間入りである。メディアの世界では音楽と映像の調和が重要であり、音楽と映像、CGのマルチモーダル・コミュニケーションについての研究報告もある［８］。

まとめ

　　　映像と音声と演奏データの多重化の技術とそのアプリケーションを見てきたが、その有用性は確かめられているものの、未だ十分には実用化はしていない。その最大の理由としては、楽器の演奏場面では、これらの情報が実用的に同期して調和が取れていないと受け入れられないことが挙げられる。音声のクオリティもやはり大事である。映像・ＣＧの画質とクオリティは当面は他の要因よりプライオリティは高くはないものの高品位であることに越したことはない。ソフトの製作では特に映像撮影の意味付けが大切である。また、他のメデイアとの規格などの整合性を保つことも問われる。ひいてはコスト、経費の点で、ユーザーにかける負担をいかに安くできるかである。楽しく、遊び心が満たされる要素があり魅力的な分野であることには間違いないと思う。本報告で紹介した技術や機器を使ってこの分野の研究が情報論的に進むことを期待したい。当面はIT活用が問われる教育分野には向いているし、求められていると思う。教育工学的なアプローチの中で特にネットワークによる遠隔授業の一環として自動ピアノを活用したゲストティーチングの実用化が求められるところである。そこではデジタルコンテンツの充実、データベース化がともなわなければならない。高速通信網のインフラの整備とコンピュータや映像機器などの設備の充実も望まれるところである。