ぼかりすでない何か

「ぼかりすでない何か」のプログラムを作成中ですので、とりあえず現状の出来をアップロードします。

http://piapro.jp/content/ybx241dfo4hrpiwv

ミクがアカペラで「七つの子」を歌うというなんともベタなデモソングですが、使用前・使用後のVSQファイルでも見ていただければと思います。

ソフトウエアは、VocaSim と命名します。内部仕様ドキュメントを充実させ、音声のレベルアップを図ってアップロードする予定です。もちろんフリーソフトです。

日本知財学会

日本知財学会の発表を聴講してきました。いつも論文や著書をお見かけする先生が多かったです。

出川通さんは、「MOT（技術経営）がよーくわかる本」の著者です。今回もMOT・MBAのお話や開発から製品化の間に横たわる「死の谷」の話をされていました。

鈴木公明先生は、知財価値評価の権威であり、かつ弁理士であらせられます。意外なことに弁理士登録は昨年の１２月ですね。発表内容は株価と特許のプレスリリースの関係です。

自分は、法的安定性について述べられた東京大学の永田健太郎さん・渡部俊也さんの発表の分析法が面白かったです。国内優先権主張により特許の質が３８．２％向上するなど、定量的な考察が発表されており、説得力がありました。

今日は論文式筆記試験の日ですね。ゼミの同期生達がいまごろ意匠法を解いている頃だろうなと、ふと頭をよぎりました。

miku_talk 0.2.1 のGUI化

　mashpodさんが、MIKU_TALK 0.2.1 をGUI化していただきましたので、ご紹介します。

http://mashpod.vox.com/library/posts/tags/miku_talk_gui/

　形態素解析エンジンを Yahoo!から mecab に変更されたり、サーバーサイドスクリプトをローカルPC用スクリプトに変更されたりするのは本当に大変だったろうと推定します。
　実は、サーバーの制限によりサーバーサイドスクリプトは処理できる文字数や形態素数がかなり少ないです。infoseek サーバーは最も処理できる文字数が多いサーバーのひとつですが、それでも2000文字程度（芥川龍之介の「蜘蛛の糸」の１/3）しか１回で処理できません。
　よって、ローカルPC用スクリプトである MIKU_TALK 0.2.1 のGUI版には、大量のデータを処理できるというアドバンテージがあると思われます。

特許庁法改正説明会

　先日、特許庁の「特許法等の一部を改正する法律について」の説明会に参加してまいりました。
　「１、通常実施権等登録制度の見直し」は、特許のライセンシーを守る制度ですね。
　丸島儀一氏の「キヤノン特許部隊」では、ライセンサーの破産や合併、買収によりライセンシーの権利が損なわれることについて触れておりました。これに対応してか、改正破産法が平成１７年１月１日に施行され、登録されたライセンス権は第三者に対抗でき、よってライセンシーの権利が守られることになりました。（破産法５６条１項）

 破産法第五十六条 　第五十三条第一項及び第二項の規定は、賃借権その他の使用及び収益を目的とする権利を設定する契約について破産者の相手方が当該権利につき登記、登録その他の第三者に対抗することができる要件を備えている場合には、適用しない。

　しかし、出願後登録までの権利については、ライセンス契約されることが多かったにも関わらず、登録制度を有しなかったため、ライセンサーの破産によりライセンシーは破産管財人に対抗できず、よってライセンシーの権利が損なわれるという問題がありました。
　今回の法改正で、出願後の権利について「仮通常実施権（３４条の２）」「仮専用実施権（３４条の３）」が設定でき、登録により第三者対抗要件を具備することになります。

　また、ライセンス契約の存在はライセンシーにとって秘密にしたい場合が多いです。何故かというと、ライセンス契約が公になるとライセンシーの事業動向が露になってしまうからです。よって、今までライセンス契約の利用率は１％程度であったと推測されています。
　このような産業界に於ける実態を踏まえて、通常実施権の登録においてライセンシーの氏名や名称は一定の利害関係人のみ開示されることになりました。これにより、ライセンスの登録が進み、ライセンシーの権利が保護が充分におこなえると思います。

　なお、仮通常実施権等が設定できるのは「特許・実用新案法」だけです。これに纏わり「意匠出願(※)において、仮通常実施権を設定できる場合はない。」など短答の問題が作られそうですね。

６月２０日追記：※　「意匠出願」を「意匠登録出願」に改めます。受験生の皆様も細かな表記にはご注意ください。（恐らくマイナス１点に相当すると思われます。）

「ぼかりす」への形態素解析の応用提案

ぼかりすの論文発表から、だいぶ経ってしまいましたが、これに対する形態素解析の応用を提案致したくおもいます。まず、VocaListener の全体像をご覧ください。

http://staff.aist.go.jp/t.nakano/image/VocaListenerFlow.pdf

　形態素解析は、歌詞を平仮名に変換する事のみに用いられています。論文に於いては「立ち止まる時、またふと振り返る」を「たちどまるときまたふとふりかえる」に変換するのみです。形態素解析で単語の区切り情報や品詞の種類などが含まれており、これを元に人間の歌唱に歌詞を当て嵌めれば、目標歌唱と歌詞(音素)の時間的対応付けが更に精確になると思われます。
　具体的な手順を以下に記載します。

(1) 歌詞を形態素解析する。（Yahoo!形態素解析の例)

立ち止まる    動詞,,,,,,,たちどまる,tachidomaru
時    名詞,,,,,,,とき,toki
また    副詞,,,,,,,また,mata
ふと    副詞,,,,,,,ふと,futo
振り返る    動詞,,,,,,,ふりかえる,furikaeru

(2) アラインメント用文法の生成
　単語区切り情報のノードを入れます。具体的には tachidomaru と toki の間、toki と mata の間などです。

(3) Viterbi アラインメント (各音素の始端と終端を推定)
　一定期間以上の発音間隔があったならば、単語の区切り情報のノードを割り当てます。発音の区切りは単語単位の区切りと一致することが多い為です。これによりフレーズを跨るなど大きな誤りは減少すると思います。

　これが例となる音声波形です。青で示された部分に「一定期間以上の発音間隔」があります。よって、これらに当て嵌めることができる単語の組み合わせは以下のものです。

①「たちどまる」　　「ときまたふりかえる」
②「たちどまるとき」　　「またふとふりかえる」
③「たちどまるときまた」　　「ふとふりかえる」
④「たちどまるときまたふと」　　「ふりかえる」

　次に、①②③④のうち、どれを当て嵌めるのが最も確からしいかを算出します。一例として、母音の数と発音ピーク数の対応づけや、母音の数と発音期間の対応づけなどです。　　この場合には青で示された部分より前には、おおむね７つの発音のピークが有るので、同様に７つの母音を有する②「たちどまるとき」が最も確からしいと推定できます。

　もし、この技術を Vocalistener に実装されるならば、謝辞に「アキバ系弁理士」と書いてください。（笑）

Silence

ちょっと見て出来に感動したので、備忘録代わりにブログに貼ります。

ニコニコ動画にもアップロードされていましたが、Zoomeの方がずっと画質が良く、ストレスなく鑑賞できました。

機械的イフェクトによるビブラート

　sih5632さんにビブラート機能を付加するDTMソフトウエアの情報をいただいたので、SONAR-7 のHPでビデオを見てみました。有益な情報をいただいたsih5632さんに感謝いたします。

・V-VocalのLFOツール
http://www.roland.co.jp/mov/page/SONAR7/index.htmlのビデオの中の「ボーカル・トラックの作成」
（LFOツールは「ボーカル・トラックの作成」のビデオのちょうど半分くらい時間が過ぎたあたりの「ビブラートをかけます」のあたりで紹介されています）

SONAR7 ホームページ「ボーカルトラックの作成」より引用

　ボーカル音声の音高（PIT)が表示されており、マウスで自由に曲線を変更することができ、またフラットに書き直したのちに指定範囲を正弦波に置き換えたり、その正弦波の振幅を次第に大きくしたりという、まさに想像した通りの機能が搭載されていました。

　元々の肉声ビブラートの音高（PIT)は青の選択範囲に於ける赤線で示された部分です。
人間のビブラート曲線は綺麗な正弦波とならないことがわかります。

SONAR7 ホームページ「ボーカルトラックの作成」より引用

なお、浜崎あゆみのCD「Dearest」は2001年度に発売されたもので、SONAR7は同じ2001年に発表されたDAWソフトウエアです。

AutoTuneにも同種の機能が搭載されているようです。
http://content3.e-frontier.co.jp/products/antares/at5/pro.html

オートマチックモードでは、ビブラートをサウンドに追加することもできます。
ビブラートセクションで、ビブラートの深さ、レート、ディレイをコントロールすることができます。
ビブラートのピッチのバリエーションを選択することもできます。（サイン波、ノコギリ波、矩形波など）。ビブラートを自分でかけられないボーカルの演奏に ビブラートを追加させるときなどにこのビブラートセクションが効果的です。また、特殊なサウンドを作成するときなどにも使用できます。
(AutoTune のホームページより引用）

ぼかんないんです＞＜技法の解析

　浜崎あゆみの「Dearest」が入手できたので、歌声りっぷ 2.0 で浜崎あゆみボーカルを抜き出し、Ripples 0.0.8 で解析しました。Ripples を作成された zhuo さんに感謝いたします。解析結果は、いままでの推定が覆る意外な結果となりました。

１、音高（PIT)パラメータの解析
　浜崎あゆみボーカルと「ぼかんないんです＞＜」のVSQファイルの「全て」の「て」のビブラート部分を抜き出し、PIT（音高）パラメータを縦軸に、横軸に時間として描画しました。

　浜崎あゆみボーカルのPIT（音高）パラメータは美しい正弦波を描いております。この正弦波は人間の生音声によるものではなく、機械イフェクトで加工されているのだと推定します。また、驚くべきことは「ぼかんないんです＞＜」技法によるVSQファイルのPIT（音高）パラメータは、浜崎あゆみボーカルと振幅および位相がぴったりと一致しています。

　同様に両音声ファイルの「捨てて」の「て」のビブラート部分を抜き出し、PIT（音高）パラメータを縦軸に、横軸に時間として描画しました。こちらも極めてよく一致していることが判ります。

２、音量（DYN)パラメータの解析
　浜崎あゆみボーカルと「ぼかんないんです＞＜」のVSQファイルの「全て」の「て」のビブラート部分を抜き出し、DYN（音量）パラメータを縦軸に、横軸に時間として描画しました。　浜崎あゆみボーカルは高低差が少なかったため、パラメータに2.0を掛けて描画しました。

　両音声ともに類似したカーブを描いていることが判ります。PIT（音高）パラメータほど一致しない理由は不明です。

　同様に両音声ファイルの「捨てて」の「て」のビブラート部分を抜き出し、DYN（音量）パラメータを縦軸に、横軸に時間として描画しました。浜崎あゆみボーカルは高低差が少なかったため、パラメータに2.0を掛けて描画しました。
　やはり、両音声ともに類似したカーブを描いていることが判ります。

３、結論
　「ぼかんないんです＞＜」テクノロジーとは、原音声ファイルから音高パラメータと音量パラメータを機械的に抽出して、VSQファイルに反映させる技法と推定いたします。理由は、浜崎あゆみの原音声ファイルと「ぼかんないんです＞＜」テクノロジーによる音声ファイルの音高パラメータと音量パラメータが極めて良く一致していることです。
　これまでは、「ぼかんないんです＞＜」テクノロジーによって作られた音声ファイルの音高パラメータが極めて美しい正弦波だったので、浜崎あゆみ音声によるものではないと推定しておりました。しかし、浜崎あゆみ音声が機械イフェクトを掛けたものだったならば、ビブラート部分の音高（PIT）パラメータに「美しい正弦波」が出現することは納得できます。

４、浜崎あゆみの歌唱処理方法ノウハウについて
　浜崎あゆみのビブラートは、果たして機械イフェクトを掛けたものなのでしょうか。また、機械イフェクトを掛けたものであったならば、どのようなノウハウによって美しい歌唱を生成しているのでしょうか。
　そのようなノウハウが有ったならば、そのノウハウをVOCALOIDに搭載することで、単なる人間の音声の再現ではない「美しい歌声」を実現することが可能になると思われます。

追記：謎のテクノロジーだった「ぼかりす」を直感的に理解され、その一部といえども即日で再現いただき、VSQファイルを配布されたyuukissさんに感謝いたします。今後も引き続き Nostalogic のような名曲を発表いただければと思います。