VoMPE (original) (raw)
1. VoMPE の概要
VoMPE (Voice over MIDI Polyphonic Expression) は，音声入力を分析し，音声の特徴を表すフォルマント周波数に基づいたポリフォニックの MIDI ノートを出力する．
音声の生成過程は，声帯による振動と声道による共振 (レゾナンス) によってモデル化できる．この場合，音声のスペクトルは，声帯による振動のスペクトルと声道の周波数特性の積となる．このため，声道の周波数特性はスペクトラルエンベロープ (Spectral envelope) と呼ばれる．また，音道の共振周波数，即ちスペクトラルエンベロープのピークとなる周波数，をフォルマント (Formant) 周波数と呼び，これらは音声の分析，合成，符号化で広く用いられている．
VoMPE は，線形予測係数 (Linear Prediction Coefficients: LPC) によって，音声入力のスペクトラルエンベロープを推定し，フォルマント周波数を求める．スペクトラルエンベロープは複数のバンド (周波数帯) に分割され，各バンドは MIDI チャネルに対応する．VoMPE は各バンドにおいて振幅が最大となるフォルマント周波数に対応した MIDI ノートを出力する．
VoMPE はディジタルオーディオワークステーションの VST 3 plug-in として提供され，16KHz, 44.1KHz, 48KHz のサンプリングレートをサポートしている．また，OS 環境は 64 bit の Windows 11以降となる．
VoMPE バイナリ―ディストリビューションは Creative Commons Attribution 4.0 (CC BY 4.0) に基づいて無料でライセンスされる．
VoMPE ソースコードディストリビューションは Creative Commons Attribution-NonCommercial-ShareAlike 4.0 (CC BY-NC-SA 4.0) に基づいて無料でライセンスされる．
2. VoMPE の使用方法
VoMPE のユーザーインタフェースを Fig. 1 に示す．
Fig. 1: User interface of VoMPE.
左側のグラフの線はスペクトラルエンベロープ，青のドットはフォルマント周波数，青線は MIDI ノートが on/off となる閾値を示す．右側のグラフはスペクトラルエンベロープの時間推移をカラーマップで示す．白色はフォルマント周波数である．
帯域が最大 8 KHz のスペクトラルエンベロープは，フォルマント帯域幅 (Formant bandwidth)，およびフォルマント帯域数 (Number of formant bands) によりバンド (周波数帯) に分割される．各バンドは一つの MIDI チャネルに対応する．MIDI ノート on/off 閾値 (MIDI note on/off threshold) は，MIDI ノートオン，オフ出力の契機となるフォルマント周波数の振幅を示す．
フォルマントと MIDI 周波数比 (Formant and MID frequency ratio) はフォルマントと MIDI ノート周波数のピッチを示す．オーディオ出力遅延 (Audio output delay) は，VoMPE のオーディオ出力の遅延時間を示す．MIDI ピッチベンド (MIDI pitch bend) を On とした場合，MIDI ノートオンの前にピッチベンドが出力され，より正確なフォルマント周波数となる．ポーズは (Pause) は左右のグラフの更新を停止する．
UI 上でマウスを右クリックすると，UI の倍率が表示される．
参考: MPE シンセサイザーの設定例
MIDI ピッチベンドをオンとする場合，シンセサイザーは MPE モードとする必要がある．参考に Surge XT と Vital の MPE 設定方法を述べる．
MPE モードをオンにする．
Surge XT: Status MPE をオン，Play Mode を Poly にする．Fig. 2 を参照．
Vital: MPE ENABLED をオンにする．Fig. 3 を参照．
Note: Vital の MPE のステータスは DAW プロジェクトに正しく保存されないため，プロジェクトを立ち上げた際に毎回 MPE ENABLED をオフ・オンする．
ボイス数を必要な数に設定する．プリセットによっては，デフォルトのボイス数が 1 となっている事に注意．
Fig 2: MPE configuration of Surge XT.
Fig 3: Configuration of Vital.
VST is a registered trademark of Steinberg Media Technologies GmbH.
