« VocaSim 0.0.3 | トップページ | vocasim 0.0.4 (source) »

VocaSim.0.0.4

VocalSIMulator –ボーカル歌唱のシミュレーション手法の提案

1、目的:
 VocalSimulator(以下 VocaSim)は、ヤマハのVOCALOIDシリーズのVSQファイルを入力として、音量や音高を自動調整して滑舌処理・オーバーシュートやビブラート及び微細変動処理を加えたVSQファイルを出力するものです。

VocaSim004.pl の実行結果 「星の界」
http://piapro.jp/content/bgxqrywgfuhums4s

2、従来技術との比較
 従来のVocaloid2 Editorは全てマウスで描画しており、オーバーシュートなどの細かな調整には膨大な工数が必要でした。唯一ビブラートのみは自動化されています。
 VocaListerner, MikuMikuVoice のアプローチは、肉声から音量と音高を抽出して、VSQファイルに反映させるというものです。肉声のニュアンスを緻密に反映できる特徴を有します。
 VocaSim のアプローチは、ボーカルをフィードバック制御システムとしてモデル化し、制御理論で元にPC内でシミュレーションするというものです。元歌不要でボーカルに似せた調整を掛けること可能です。

3、使用方法
(1)動作チェック環境
OS:WindowsXP
Perl処理系:ActivePerl 5.8.8
使用モジュール:MIDI-Perl v0.81
(2)インストール方法
ActivePerl 5.8.x をインストールしたのち、コマンドラインからppm-shell を起動します。
C:\hogehoge> ppm-shell
次に MIDI-Perl をインストールしてください。
 ppm> install MIDI-Perl
これで準備は完了です。
 そして、「vocasim004.pl」を右クリックしてダウンロードし、処理したいVSQと同じフォルダに入れてください。

(3)使い方
コマンドプロンプトを起動して、以下入力してください。出力VSQ名を省略したならば a_out.vsqに出力されます。
 C:\hogehoge> vocasim004.pl test.入力vsq test出力.vsq
のんびりとした感じの調教したかったら、3番目引数に「のんびりと」と記載願います。
 C:\hogehoge> vocasim004.pl test.入力vsq test出力.vsq のんびりと

4、処理の概要
(1)フレーズ処理
 発音要素ごとの時間間隔が一定値未満($interval_time 未満)ならば、そこでフレーズが終了すると見做しました。
 滑舌を明瞭にあらわす為、発音時間長が一定値以上($interval_time 以上)かつフレーズの末尾以外ならば、発音時間の末尾($prologue_time)で音量と音高が初期値に戻るよう制御しました。
 フレーズを理解して歌っている様をあらわす為、フレーズの包絡線が山なりの音量となるように制御しました。
(2)発音要素の処理
 ボーカルのフィードバック制御システムを以下にモデル化し、音量と音高それぞれをシミュレートします。原則として音量と音高は相関関係を有するよう制御します。
Vocasim_system_diagram

 ボーカルの脳は、耳で測定して目標値と比較するまでに応答遅延(8mSEC程度)を経たのち、目標値との差分をPID制御し、声帯にフィードバック指示します。
 声帯は、脳からの指示をもとに音声を出力します。このとき9Hz近傍のビブラートや、20Hz近傍の微細振動が外乱として加わります。なお、ビブラートはボーカルが故意に発振の大きさを調整可能とします。
 PID制御の式は以下のもので、これに応答遅延時間Dが加わります。

 制御指示 = Κp・(目標値-測定値)+Κi・Σ(目標値-測定値)

 応答遅延時間Dはボーカル固有であり、定数と考えられますので、立ち上がり波形の制御は、Κp・Κiのパラメータにのみ依存します。
 巧いボーカルをシミュレートしたい場合には臨界制動になるように制御し、ちょっと音痴なボーカルをシミュレートしたい場合にはオーバーシュートさせて制御します。 元気よい歌い方はΚp・Κiともに大きく、おとなしい歌い方はΚp・Κiともに小さくしてください。(VocaSim004.pl は、ちょっとオーバーシュート気味です)
 なお、VocaSim004.plでは「得意とするキー」の70から外れたならば力が入りすぎてオーバーシュートするようコーディングし、発音要素間の音量の谷間のときは、Κp・Κiを大きくしました。発声時の音の立ち上がりより、発音しなくなる場合の方が応答が早いと考えた為です。
 外乱として常に細かなビブラートと微細変動を付与しています。これは通常のボーカルの音声波形を見ても同様になっています。フレーズ末尾においてはビブラートの振幅を増大させて、ビブラートが明瞭に認識されるようにしました。

5、今後の課題
(1)プレパレーションの付与
 音程変化直前に観測される、音程変化とは逆方向の瞬時的な変化をプレパレーションと言います。現在のVocaSim にはプレパレーションが付与されていませんが、これを付与することで更に自然な発生が可能となると思われます。

(2)実際の発声を分析してフィードバック制御
 現在のVocaSimのフィードバックシステムは、VSQファイルを生成するところまでが対象です。実際のVocaloid2システムはDYN/PITに対して非線形かつ独自な応答をしますので、VocaSimが出力した音量・音高と実際の発声は異なっています。よって、Vocaloid2システムが出力する音声の音量と音高をフィードバック制御することで、ボーカル・システムを更に正確にシミュレーション可能となります。
(3)リアルタイムにΚp・Κiを変化
 現在のVocaSimは、曲の途中でΚp・Κiを変更できませんが、曲の途中でユーザがリアルタイムにΚp・Κiを制御することで、ユーザの演出意図を反映した音声シミュレーションが可能となります。

6、ライセンスについて
 当ソフトウエアの改変と再配布は自由で、特に作者への通知も必要ありません。但し、ウイルス・コード埋め込み、及びスパイウエアコードの埋め込み、その他法律に抵触する態様への改変を禁じます。


参考データと参考ソフトウエア
Dearest.vsq:ぼかんないんです>< yuukiss さん

【ニコニコ動画】【本気MEIKO】 Dearest (pf mix) 【カバー曲】

MikuMikuVoice:樋口優さん
http://www.geocities.jp/higuchuu4/index.htm
Ripples Ver.0.0.8:zhuoさん
http://www.geocities.jp/zhuoware/ripples/ripples_top.html

参考文献(敬称略)
VocaListenerユーザ歌唱を真似る歌声合成パラメータを自動推定するシステムの提案
中野倫靖, 後藤真孝(産業技術総合研究所) 2008/05
http://staff.aist.go.jp/t.nakano/PRESENTATION/pSIGMUS200805nakano.pdf

歌声知覚・生成機構の解明に向けた歌声合成システム構築に関する研究
斎藤毅 北陸先端科学技術大学院大学 情報科学研究科 2006/3
http://www.jaist.ac.jp/library/thesis/is-doctor-2006/abstract/t-saitou/jabstract.pdf

歌声における F0動的変動成分の抽出とF0制御モデルに関する研究
斎藤毅 北陸先端科学技術大学院大学 情報科学研究科 2002/2/15
http://www.jaist.ac.jp/library/thesis/is-master-2002/abstract/t-saitou/jabstract.pdf

歌声に含まれる基本周波数の微細変動成分の知覚に関する研究
北風裕教 北陸先端科学技術大学院大学 情報科学研究科 2000/2/15
http://www.jaist.ac.jp/library/thesis/is-master-2000/abstract/kitakaze/jabstract.pdf

|

« VocaSim 0.0.3 | トップページ | vocasim 0.0.4 (source) »

初音ミク」カテゴリの記事

コメント

いつも楽しいツールをありがとうございます!
例によってexe化しても動きましたのでご報告します。
今回は無編集でOKでした。「のんびりと」も問題ありません。

vocasim004.plのexe化(暫定)
http://mashpod.vox.com/library/post/vocasim004pl%E3%81%AEexe%E5%8C%96%E6%9A%AB%E5%AE%9A.html

投稿: mashpod | 2008年7月 7日 (月) 10時12分

いつも exe 化いただき、ありがとうございます。

これで、ユーザー環境のハードルが少しでも下がるかとおもいます。

投稿: 和泉聡 | 2008年7月 7日 (月) 22時31分

コメントを書く



(ウェブ上には掲載しません)




トラックバック

この記事のトラックバックURL:
http://app.cocolog-nifty.com/t/trackback/110295/41750529

この記事へのトラックバック一覧です: VocaSim.0.0.4:

» 「ぼかりすでない何か」ことVocaSimがMacで動いた [CloseBox and OpenPod]
 人生は是勉学の事の和泉聡さんが開発されている「ぼかりすでない何か」がついに公開 [続きを読む]

受信: 2008年7月 6日 (日) 22時32分

» POSERでロックバンド(その15 外人受けを狙ってみる) [PresidentGas_blog]
3DCGソフトウェア「POSER」でロックバンドを作ろう!コーナーです。 新しいビデオができたのでお披露目します。 その前にうざい解説をちょっとだけ。 今までYouTubeにアップしたCG動画は、アクセス数こそボチボチですが、見ず知らずの外人さんからのコメントがあるおかげでモチベーションが続いてます。 中でも「インド音楽風インスト」と、「英語詞ポップス」の2曲の評判がまぁまぁ良いので・・・ 今回は... [続きを読む]

受信: 2009年8月 8日 (土) 09時14分

« VocaSim 0.0.3 | トップページ | vocasim 0.0.4 (source) »