音楽情報処理の現在について研究者と開発者が意見交換

誰でも上手に歌えるカラオケシステムが披露 “エンターテインメントを深化させる音楽情報処理”セッションをリポート【CEDEC 2015】_01
▲パネリストの3名。左から、森勢将雅氏(山梨大学)、橋田光代氏(相愛大学)、進行役も務めた北原鉄郎氏(日本大学)。ともにSIGMUS(音楽情報科学研究会)に所属する研究者だ。

 2015年8月26日~28日の3日間、パシフィコ横浜にて開催される、日本最大級のゲーム開発者向けカンファレンス“CEDEC 2015”。8月26日に“エンターテインメントを深化させる音楽情報処理”と題して行われたこのセッションでは、IT技術を活用した音楽の研究“音楽情報処理”を行っている大学教授による研究成果の発表、そしてその研究をどうゲーム・エンターテインメントに活かせるかを現役ゲームサウンド開発者が考えるという、産・学両面からの意見交換の場となった。

【8月30日01:00 記事修正】
文中、北原鉄郎氏のお名前を誤って記載しておりました。北原氏、関係者様各位にお詫び申し上げます。

誰でも上手に歌えるカラオケシステムが披露 “エンターテインメントを深化させる音楽情報処理”セッションをリポート【CEDEC 2015】_02
誰でも上手に歌えるカラオケシステムが披露 “エンターテインメントを深化させる音楽情報処理”セッションをリポート【CEDEC 2015】_03
▲研究者たちが取り組んでいる分野を示した図。
▲指摘討論者として参加した土田義紀氏(スクウェア・エニックス)、中西哲一氏(バンダイナムコスタジオ)。土田氏はプログラマーとして、中西氏はサウンドコンポーザー/サウンドエンジニアとしての立場から意見を述べていった。
誰でも上手に歌えるカラオケシステムが披露 “エンターテインメントを深化させる音楽情報処理”セッションをリポート【CEDEC 2015】_04

 最初に発表を行った北原氏の研究テーマは「音楽の非専門家のための音楽制作(作曲)支援技術」。簡単に説明すると、音楽の専門知識が無くとも、コンピューターを使うことで自分が思った楽曲を作れるという技術だ。実例として紹介されたのは「旋律概形に基づく音楽編集」と「音素材挿入機能を持つループシーケンサー」のふたつ。前者は、グラフの山を動かすだけで楽曲のメロディーをコンピューターが“いい具合”に調整してくれるというもので、後者は楽曲の盛り上がりをグラフで指定することで、テクノミュージックを自動で作製してくれるというもの。いずれも難しい手続きなしに短時間での入力を可能としており、またこの技術を使うことで、ゲームの状況に合わせたBGM生成、また譜面通りの入力でなくとも音楽的に正解ならば減点されない音楽ゲームができるのではないかと、北原氏は発表を結んだ。

誰でも上手に歌えるカラオケシステムが披露 “エンターテインメントを深化させる音楽情報処理”セッションをリポート【CEDEC 2015】_05
誰でも上手に歌えるカラオケシステムが披露 “エンターテインメントを深化させる音楽情報処理”セッションをリポート【CEDEC 2015】_06

 つぎに研究発表を行ったのは、橋田氏。橋田氏のテーマは「テクノロジーを介して人間が音楽をどのように豊かに表現していくか」。研究より教育に近い立ち位置であるという橋田氏は、まず音楽学習支援サイト“Songle.jp”や自動作曲システム『ORPHEUS』を紹介。そうしたITを使った音楽教育の実例は増えているとしつつも、「音楽そのものは学習で覚えられるが、音楽(のリズム)を計算で把握する手順を以外と誰も教わっていない」と指摘。“音楽xITx経営”というテーマを掲げ、音大においても音楽以外の(ある種畑違いな)分野を学ぶことで、制作ではない音楽業務(たとえばマネージャー)への人材育成ができるのではないかと説いた。

誰でも上手に歌えるカラオケシステムが披露 “エンターテインメントを深化させる音楽情報処理”セッションをリポート【CEDEC 2015】_07
▲人間が楽譜て演奏をする見た時に、どのような思考を行っているのかを表した図。これを理解することで、コンピューターでの演奏になにが必要なのかを組み立てることができるという。
誰でも上手に歌えるカラオケシステムが披露 “エンターテインメントを深化させる音楽情報処理”セッションをリポート【CEDEC 2015】_08

 音声合成を主な研究テーマとしている森勢氏は、その成果として“誰でも上手に歌えるカラオケシステム”を披露。歌い手の、声の高さ・声色・声の掠れ具合を検出した上で、声の高さだけのプロの歌った情報と差し替えることで、誰でも歌がうまくなれるというものだ。また、音声合成ソフト『WORLD』の作者でもある森勢氏は、そのソフトをベースに新たな音声合成ソフトが次々に生まれてくる土壌を“N次創作”と定義。将来的には、ニコニコ動画におけるコラボ(楽曲制作Pとイラストレーター、ムービー制作者との連携)のように、歌声合成の分野でも制作者同士の共演ができるのではと語った。

誰でも上手に歌えるカラオケシステムが披露 “エンターテインメントを深化させる音楽情報処理”セッションをリポート【CEDEC 2015】_09
誰でも上手に歌えるカラオケシステムが披露 “エンターテインメントを深化させる音楽情報処理”セッションをリポート【CEDEC 2015】_10
▲カラオケの音声補正技術の将来としては、歌のうまい利用者の歌唱力データをSNSなどを通じてやりとりできるような仕組みができるのでは、と森勢氏は説明。
誰でも上手に歌えるカラオケシステムが披露 “エンターテインメントを深化させる音楽情報処理”セッションをリポート【CEDEC 2015】_11
▲森勢氏の『WORLD』を起点に、『EFB-GW』や『v.Connect-STAND』といった各種音声合成ソフトが誕生。ニコニコ動画のコラボ文化がソフトにもおよんだ例とし、またその支援も行っているという。

興味深い研究成果にクリエイター側からの意見は

 こうしたさまざまな研究成果を目にしたクリエイター側の土田氏と中西氏は「(研究と開発)現場と近づいている時代になってきてるんじゃないかな」と意見を同じくし、また「(開発者の)ニーズベースだけではこうした技術は生まれなかった」とも語った。個別の技術については「自動作曲の技術から“良い曲とはなんだろう”という要素が抜き出せれば、プロのツールにも応用できそう」(中西氏)、「歌声補正技術はカラオケ屋さんに売らないの?」(土田氏)など、制作現場視点の意見を寄せ、特に人物の体格パラメーターで音声を変更できる森勢氏技術には「キャラクタークリエイションにすぐ使えそうだね」と興味深そうに語った。

 だが北原氏によると、現状ではゲーム業界と大学研究者が手を取り合って何かを生み出すという事例は少ないとの悩みもあるという。なぜそれができないかについては「クリエイターとして新しい技術に興味はあるが、予算を握る側を説得するのが難しい」(中西氏)、「研究段階のものや、学生が制作したものを取り入れる仕組みがない」(土田氏)というのが現場の声だという。しかし、前述したように研究者側にはニーズベースではない技術があることから、困っている状況を研究者に伝えたら思わぬ解決方法が出てくるかもしれないとのポジティブな意見にもつながった。最後には、現状の計算資源ならゲームに応用できそうな技術は着実にできつつあるとのまとめでセッションは終了。ゲーム産業がさらなる発展をするために、両者がいい関係を結べる機会がくることを望みたい。

誰でも上手に歌えるカラオケシステムが披露 “エンターテインメントを深化させる音楽情報処理”セッションをリポート【CEDEC 2015】_12