“歌い方”を聞かせてミクをもっと自然に歌わせる〜産総研、新技術「VocaListener」実現

エンタープライズその他

注目記事

2009.4.27（月）13:10

　産業技術総合研究所の情報技術研究部門メディアインタラクション研究グループは27日、歌声合成ソフトウェアの合成パラメーターを、歌唱の事例とその歌詞を与えるだけで調整できるソフトウェア技術「VocaListener」（ボーカリスナー、略称「ぼかりす」）を実現したと発表した。現在産総研のホームページではサンプルとして、演歌の「大漁船」を、初音ミクや鈴音リンがこぶしを効かせて歌い上げているムービーが公開されている。

　「VocaListener」は、VOCALOID（初音ミク・鈴音リン/レン）などの市販歌声合成ソフトウェアを用いて、録音された歌唱音声の事例からその歌い方（声の高さと声の大きさ）をまねて歌声合成できる技術。従来は、人間らしい自然な歌声を合成しようとすると、その細かいニュアンスを表現するために、楽譜と歌詞を入力した後に、歌声合成パラメーターをユーザが人手で長時間調整しなければならないことが多かったが、直接歌い方を聞かせることで、その作業が自動化されることとなる。

　VocaListenerを実現する上で難しいのは、歌唱事例の歌い方の分析結果（声の高さと大きさ）を、そのまま歌声合成ソフトウェアにパラメーターとして与えても、そのとおりの高さと大きさで合成音が鳴らないことであるという。これは歌声合成ソフトウェアが通常、多数の短い歌声波形の断片を切り貼りして合成音を出す仕組みを持ち、前後関係にも依存した非線形な動作をするためだ。VocaListenerでは、あたかも何度も発声練習するかのように、合成音を再度取り込んで分析し、意図したとおりでない部分のパラメーターを補正して再度合成する処理を何度も反復することで、歌い方を高精度にまねた歌声合成を実現した。VocaListenerでは、独自の反復推定に基づく歌声合成パラメーター推定技術を開発し、合成結果の品質を向上させた。歌声合成ソフトウェアやその音源（歌手の声）を切り替えても再調整せずに自動的に合成できる。同時に、歌詞と歌声の高精度な自動対応付け技術も開発したことで、楽譜をいっさい入力しなくても歌うだけで合成が可能とのこと。ユーザによる合成結果の微調整も簡単にするあらたな技術も開発されている。

　なお、本研究の一部は、独立行政法人科学技術振興機構戦略的創造研究推進事業（CREST）の助成を受けたものとなる。今後産総研では、VocaListenerを産業界と連携して実用化し、歌声合成を用いた音楽制作を幅広く支援したり、歌声合成が適用可能なあらたな応用事例を開拓したりしていく予定だ。

《冨岡晶》