「DVD-MIDI制作」と「映像遅延時間の編集法」
 

  ここでは奏者が演奏中のMIDI楽器を、演奏MIDIデータの伴った映像として収録、この素材をもとに記録メディアとしてのDVDに書き込む制作過程をご紹介していきます。
  更に、MIDI楽器が自動演奏ピアノ等であった場合に必要となる、MIDI信号に対する動画・音声トラック部での、遅延のための時間軸上の整合方法については、ノンリニア・ビデオ編集ソフトを使っての対処方を一例紹介致します。



 1.MIDI楽器演奏〜ビデオ映像に重畳収録

   同一ターゲットから発生するMIDIデータとそこからのビデオ映像・音声とを連動させたい場合に、一般的には各データ間でなんらかの同期信号等を介した並行収録などが行われるが、ここでは図Aにあるような重畳方式をとり、映像信号に直接MIDI演奏データを書き込んで行く方法で試行した。

図A

  この図では、ライブ効果演出も狙い複数のカメラを使って、カメラ切替えやエフェクタも挿入された図になっていますが、これらは1台のカメラだけに簡略して単純な方法から始めるのがもちろん無難といえます。

 MIDI楽器(PP/SEP)からの演奏信号は、ここでの主力となるJOJ社製のV/Mエンコーダの内部で、ハードウェアコーデックにより映像信号の一部に書込まれ、以下時系列的に配列される。
  MIDIデータが映像に重畳されたここからの(映像)出力はNTSCアナログ信号形態のままなので、通常のVHS等テープデッキ、DVテープ(カメラ)、HDD/DVDレコーダなどにも、そのままアナログ入力として録画することができます。
 従ってこの図では、ダイレクトにHDD/DVDレコーダに録画(と同時にMIDIデータ記録)されることになります。
 また、再生時の入出力端子の接続を簡略するためスイッチ機能で書かれているが、録再タイプの実機では、録画系と再生系はそれぞれ別系統のBNC端子で構成されている。

 ※ ・録再タイプ→ エンコーダ、デコーダを装備。 ・再生専用タイプ→ デコーダのみ。
    いずれも、レコーダ機能やプレーヤ機能としての外部機器が必要です。
 
  2.映像と音声を遅延させる

その1・・・映像遅延装置(ハードウェア)

 録画した素材を再生しこれらをもとに実際に楽器を演奏させると、対象が電子音源の場合にはそのまま映像・音声と同タイミング(実際は1フレーム後)で発音されるが、自動演奏ピアノ等アクション構造が入っている楽器の場合は、その他機能や機構の関係で弦からの発音は、ディスプレイ上の映像より0.5秒ほど遅れることになる。(フレーム換算で15フレーム)。
 それらを補正するために、先の図ではエンコーダの直前に映像ディレイ機器を挿入している。これは説明の都合上、録画時に挿入した例であるが、再生時に使ったほうがコンテンツをノンディレイ/ディレイ、と2ウェイに切り替えて使い分けするのには有利。


 その2・・・ノンリニア・ビデオ編集(ソフトウェア)

 今回は映像遅延装置が手に入らなかったこともあり、一般的に出回っているビデオ編集用のノンリニア・ソフトを使用することにした。図1のように映像フレーム(フィールド単位)の上下端部にMIDIデータが存在しているところから、手持ちのAdobeプレミア・Pro(ver.1)の活用で、トランジションに標準で内蔵されている「スプリット」効果を使うことにした。ご存知のようにトランジションは通常、編集ソフトのタイムライン上でカット(場面)とカットを繋ぐときに、ある効果を持たせながら変化させるために挿入して使うものであるが、それの変形で流用してみることにした。
 下図に示されている様に上下端と中央部を水平に割ることが出来ればいいので、まさしくスプリット効果そのものだが、ソフトのデフォルトでは垂直割に設定されているため、これを横わりにセットして、ありがたく頂戴することにした。

 トランジションはカットとカットのつなぎ目の個所に使うのが一般的ですが、ここでは全体を1つのカットとして扱います。

 そのためにも前の図Aにあったようなエフェクタを撮影時に入れておいて、カメラ切り替え等があったほうが、出来上がったものには面白味が出ます。

 ただ、MIDIデータ領域を壊さないようにプレ編集等工夫を重ねれば、編集ソフト上でのカット編集を含めた事後編集も可能ということができます。

 

 さて、その「クリップ全体がワンカット」、に戻りますが上・図2のように元のカットをAクリップとしてタイムライン上のAトラックに配置、これをコピーしてクリップBを作成。そしてこれをBトラック上に0.5秒(15フレーム)経過した地点に貼り付けます。全く同じクリップが時間軸上で0.5秒ズレて2個並ぶことになります。ここに前記の変則スプリット効果を、トップからエンドまでベタでかけてやることになります。ここでの注意としては、決してMIDI領域を削ることのない範囲(数値設定では75%ほど)でプロパティ内の設定をします。・・・非常にアナログ的な発想ですが・・・
(注)→トランジションは時間経過と共に変化して行きますので、設定値はトップ〜エンド間を75%キープの設定にします←。
 また、この段階では音声トラックもコピーされていますので、不要となるAトラックの音声は削除しておきます。
 これで、MIDI演奏はAクリップのもの(相対的には映像音声より0.5秒前)が、音声(と映像)はBクリップのものが再生されることになります。従って、映像のエリア的内訳としてはAクリップが上下両端、クリップBは中央部分の動画部分として残り、書き出される訳です。
 この結果、自動演奏ピアノからはアコースティック発音で、そして同じ演奏がオーディオスピーカからはステレオ音声が同タイミングで流れ出すわけですが、これらの音声は決してアコ音との間でユニゾンとかデュオで聴くためのものではなく、ここではMIDI演奏のチェック用モニタのため程度にしておきます。さらにはAV-Pコンテンツとしての有用性アップのためにもオーディオトラックは、アンサンブルやその他の音声に使って行きたいものです。

 この様に作業中のタイムライン全体に一様にトランジションをかけるということで、書出し(レンダリング)の時間がいっぱいかかりそうですが、そこはさすが現在のPCパワーとノンリニアソフトのリアルタイム化で、ほぼクリップの実時間程度で仕上がってくれるのはありがたいところです。(AVI書出しの場合。)

 ちなみに、最近の編集ソフトでは殆どがMPEGでの編集も可能ですが、こちらはレンダリングの時間が非常に長くかかるので、ここでの場合は不適当かと思います。
 また、収録時にMPEGでのマスター収録等によりPCのハードデスクが、AVI収録よりはるかに少容量で済むわけですが、もし最初にMPEG2のビットレート設定が低いほうにしてしまったりすると、もう使い物にならないといった危険性もあります。それと編集あとのレンダリング時間等も考えると、DV(AVI)での収録のほうがお勧めです。勿論、HDD/DVDレコーダーは全てMPEG録画であることは、言うまでもありません。



 
3.MPEG 変換

(1). さていよいよDVD制作のためのMPEG2変換になるわけですが、これについては下記PC用のMPEG変換ソフトウェアの範囲では、どのソフトを使っても、DVD上でのMIDI信号がうまく動作してくれませんでした。(デコーダのエラーランプが点灯。)
  ▲確認ソフト  ・Premiere pro  ・DigiOnAuthor3 等のプラグインソフト 
  
(2). そこで、PCIバス上あるいはUSB2結合のハードウェア・コーデックものも実験しましたが、 やはりNGでした。一見フル画面構成には見えるものの、そのボード専用のユーティリティ画面構成の為か、外周においてデータ領域に微妙に抵触するような問題があるのかな、と推測ながら考えられます。

(3). 第三の手段として家庭用のHDD/DVDレコーダがあります。当初、チャプター付けその他で今いちかな、 との懸念もあって無視していたのですが、なんと、このアナログ入力 → ハードウェア・コーディック、が一番確実でした。 問題なく最良の状態でMIDI再生までクリアすることができました。
 ここでの画質のレート取り扱いについては、いわゆるSP(6Mbps)以上のクォリティを選択してやらなければならないのは勿論です。(S映像入力推奨)
 書込み先が一旦HDD経由にしろDVDダイレクトにしろ、レート確認だけ間違わなければどちらからでもOKです。

 さて、MPEGコーデックでは、いわゆるフレーム間圧縮がとられているとかいわれていますので、この時点でのフレーム間でMIDIデータの並びが前後し、トータルで不具合が生じるのでは?という疑問もありましたが、実際は完全な形で再現されていることが分かります。これらについてはエンコーダ(デコーダ)内での変復調方式と配列が充分うまく行っているためなのか、どうか・・、といったあたりを推測しています。


  4.制作上のポイント

・図Aのような構成図でご紹介しましたが、実は現場での収録形態としてはMPEGよりもDV(AVI)がお勧めです。
 ただ、この場合でもDVテープのドロップアウト等による瞬間的な障害発生も勿論考えられます。この場合に、映像や音声だけならちょっとしたアナログ・ノイズ程度として見逃すことはできるものの、MIDIデータも含めて扱う場合それらは音抜けや誤発音に繋がることもあります。

・そこで改善手段として考えられるのは、ダイレクトにPCのHDDに書き込む方法です。当然フリーズという事態発生も皆無とはいえませんが、(DVテープ無しなので)編集用PCへのキャプチャー時間の省略という点からはメリット大です。
 →(近頃では、PCを必要としない携帯用の小型HDD(DV用)も出回ってきたようです。)
 勿論、DV(カメラ)等で同時にバックアップ録画しておくに越したことはありません。

・先にも書きましたがDVD書き出し時のMPEG変換作業は、我々民生機器愛好家としましてはPCソフトより家電のDVDレコーダが優秀かな・・・と考えられます。

・PC用ハードウェア(コーデック)のMPEGボードで画角表示が正確なものがあれば、そのままPC内臓DVDドライブでディスク制作まで可能と思われますが、今回はUSB2の1機種のみのトライで終了。
  ▲ 確認機種・GV-M2TV/USB2 (I・O DATA) →(もちろん通常のTV録画等では、使い勝手に問題なしです。)



  5.その他の手法

 ここまでは、他機器間との同期信号を必要としない、「MIDI/映像/ステレオ音声」のワンパッケージ・メディア=DVDの制作を書いてきました。ディスプレイ時の画面スタイルは上下にMIDI信号エリアがあるため黒いマスキング部分が伴っていることは否めません。しかしこれらは、いわゆるレターボックス・サイズと考えることにします。

 一方、同期信号での連携スタイル等を考えれば、映像対外部のハード・シーケンサやシーケンサーソフト等との2メディア方式も一つの方法かも知れません。そしてこの場合、収録後にシーケンサ側でクロックシフト等によって内部クロックを前方向へずらしてやれば、面倒な遅延作業はいらないかも知れません。しかしその方式ではとりあえず同期信号の収納場所としては、映像メディア側・音声トラック等の流用により片チャネルはつぶれることになることも覚悟しなければなりません。
 先のクロックシフト等については、分解能が24(32分音符)として、テンポ120、四部音符1個分(96)進める設定で、見かけ上ちょうど0.5秒だけ映像より前へ行ってくれるので、以前にこれはこれでうまくいった記憶があります。もし、これらがデフォルト値でセットされているような専用のシーケンサーが存在すれば、MIDIデータ記録兼映像デレイ装置(MIDI前進装置)として、特にピアノ録画の場合などには重宝に使っていけることになるでしょう。
 また、この方式では、その時点でシーケンサーに収録された演奏MIDIデータのミスタッチ等の事後修正(編集)も可能、などのメリットもありそう。そしてこれらのプロセスを経過後、最終的にDVDへ書き込むということもありかも知れませんね。

 更にはDVDのversatile性を利用して、MIDIデータをある種の変調後、ビットレートにもよるが多国語エリア等にしまいこむ方法等も考えられ、オーサリングソフトによっては可能性も考えられそう。
 ただこの場合でも、再生時に2言語間は択一式なので同時選択(ミキシング)演奏は不可と思われ、アコースティックと再生オーディオ間でのアンサンブルソフトとしての使い方はあまり有効でなさそうに思われます。

 
 6.おわりに


 MIDI演奏データと動画(プラス2chオーディオ)のワンパッケージメディアとしてのディスク、「DVD−MIDI」について述べてまいりましたが、最後に作例をひとつビデオでご紹介して終了に致します。
<内容的には・・・>
 この方式でWEB上、受信側でMIDI音源を発音させるには専用のデコーダが必要となることと、Windowsメディアプレーヤの画角が100%フルにエリア表示されていない等を考慮し、ピアノの演奏場面ビデオをあらじかじめこちらでMIDI音源で再生した形のものを、下にリンクさせてあります。
 1曲だけのサンプルですが、フレーズの進行とともにMIDI音色が、画面内演奏者の意思とは無関係且つ勝手に (1)・グランドピアノ (2)・ブライトP (3)・Eグランド (4)・ホンキートンクの順で変化していく設定も、してありますのでどうぞご確認下さい。

 なお、画面上端のパルス状の波形が、鍵盤とペダルの演奏MIDI信号です。(データ量がいっぱい増える時には、下端にも書き込まれますが、この曲は上部のみ。)また、通常の再生時はマスキングして使用されますが、ここではあえて露出させてあります。DVD上からご紹介できないのが残念ですが、一つの証明としてご確認いただければ幸いです。
 今回の制作課程にあたり、多大なご協力を頂きましたJOJ社さんには深く感謝する次第です。
                                         
作例ビデオ 390Kbps,  DL  3.2MB(演奏時間 1分)
                                  
                                              IZ-TV.Net     上神谷 俊喜

 この頁TOPへ       1. 2. 3. 4. 5. へ Back     

 関連リンク    JOJ(ジョーソン・オリジナルジャパン)  楽器創造館・青空市場    TOP頁へ戻る