« Silence | トップページ | 特許庁法改正説明会 »

「ぼかりす」への形態素解析の応用提案

ぼかりすの論文発表から、だいぶ経ってしまいましたが、これに対する形態素解析の応用を提案致したくおもいます。まず、VocaListener の全体像をご覧ください。

http://staff.aist.go.jp/t.nakano/image/VocaListenerFlow.pdf

 形態素解析は、歌詞を平仮名に変換する事のみに用いられています。論文に於いては「立ち止まる時、またふと振り返る」を「たちどまるときまたふとふりかえる」に変換するのみです。形態素解析で単語の区切り情報や品詞の種類などが含まれており、これを元に人間の歌唱に歌詞を当て嵌めれば、目標歌唱と歌詞(音素)の時間的対応付けが更に精確になると思われます。
 具体的な手順を以下に記載します。

(1) 歌詞を形態素解析する。(Yahoo!形態素解析の例)

立ち止まる    動詞,,,,,,,たちどまる,tachidomaru
時    名詞,,,,,,,とき,toki
また    副詞,,,,,,,また,mata
ふと    副詞,,,,,,,ふと,futo
振り返る    動詞,,,,,,,ふりかえる,furikaeru

(2) アラインメント用文法の生成
 単語区切り情報のノードを入れます。具体的には tachidomaru と toki の間、toki と mata の間などです。

(3) Viterbi アラインメント (各音素の始端と終端を推定)
 一定期間以上の発音間隔があったならば、単語の区切り情報のノードを割り当てます。発音の区切りは単語単位の区切りと一致することが多い為です。これによりフレーズを跨るなど大きな誤りは減少すると思います。

Vocalistener_00_2

 これが例となる音声波形です。青で示された部分に「一定期間以上の発音間隔」があります。よって、これらに当て嵌めることができる単語の組み合わせは以下のものです。

①「たちどまる」  「ときまたふりかえる」
②「たちどまるとき」  「またふとふりかえる」
③「たちどまるときまた」  「ふとふりかえる」
④「たちどまるときまたふと」  「ふりかえる」

 次に、①②③④のうち、どれを当て嵌めるのが最も確からしいかを算出します。一例として、母音の数と発音ピーク数の対応づけや、母音の数と発音期間の対応づけなどです。  この場合には青で示された部分より前には、おおむね7つの発音のピークが有るので、同様に7つの母音を有する②「たちどまるとき」が最も確からしいと推定できます。

 もし、この技術を Vocalistener に実装されるならば、謝辞に「アキバ系弁理士」と書いてください。(笑)

|

« Silence | トップページ | 特許庁法改正説明会 »

初音ミク」カテゴリの記事

コメント

同様の先行研究があることは想像に難くないです。
実際,同研究グループからの論文[1]にも
language model に「単語の区切り情報のノード」に相当する
sp ノードが使われています。同論文 Fig. 3 に下記のような例もあります。

sequence of the phonemes
(tachidomaru toki mata futo furikaeru)

language model
a-i-o-a-u-sp-o-i-sp-a-a-sp-u-o-sp-u-i-a-e-u-...

#この歌詞好きですねぇ・・

ということで,提案の前に要サーベイでは?

[1]
H. Fujihara, M. Goto, J. Ogata, K. Komatani, T. Ogata, and H. G. Okuno,
"Automatic Synchronization between Lyrics and Music CD Recordings Based on Viterbi Alignment of Segregated Vocal Signals,"
Proc. IEEE ISM 2006, pp.257-264, December 2006.

投稿: SaHKa | 2008年6月12日 (木) 11時40分

初めまして SaHKaさん。情報ありがとうございました。

特許電子図書館はサーベイしていたのですが、論文で発表されているとは思いませんでした。
発表年度がDec/2006 ということは、もしかすると論文発表と共に特許出願されていたが、その特許がまだ公開されていないだけなのかもしれません。

http://staff.aist.go.jp/m.goto/PAPER/SIGMUS200608fujihara.pdf

41頁の内容は、今回の提案内容とほぼ同一ですね。形態素解析にchasen を使っているのも興味深いです。

ひとつ謎なのは、なぜ「ぼかりす」に本機能を入れなかったのでしょうか? プロトタイプだからでしょうかね。

投稿: 和泉聡 | 2008年6月13日 (金) 00時41分

> http://staff.aist.go.jp/m.goto/PAPER/SIGMUS200608fujihara.pdf

科研費の補助を受けているようですね。
ということは出願していないのではないかと推測します。
科研費の下では発明が国に帰属してしまう可能性があります。

それに,同研究グループの論文数編を斜め読みしてみると,
研究者の興味はもっと他のところにあるようなので,
要素技術を逐一特許化することには魅力が薄いかもしれません。
私は研究者の端クレなので,そんな気がします。
研究に感けすぎて,私は知財についてアキバ系弁理士さんの足元にも及びませんが・・。


> ひとつ謎なのは、なぜ「ぼかりす」に本機能を入れなかったのでしょうか? プロトタイプだからでしょうかね。

そうかもしれませんね。入っていないならこれから入れるのでしょう。
ちなみに,技術開発の一部でも税金に依存しているのなら,
ニコ動でぼかりすの能力を公開したことは
「才能の無駄遣い」ならぬ「税金の無駄遣い」と揶揄できなくもないです。
まぁ,「社会的貢献」と考え,野暮なことは言いっこナシということで。
しかし,ニコ動投稿の動機については興味深いところです。

投稿: SaHKa | 2008年6月13日 (金) 22時40分

コメントを書く



(ウェブ上には掲載しません)




トラックバック

この記事のトラックバックURL:
http://app.cocolog-nifty.com/t/trackback/110295/41503421

この記事へのトラックバック一覧です: 「ぼかりす」への形態素解析の応用提案:

« Silence | トップページ | 特許庁法改正説明会 »