2次元のイラストを、そのままのテイストでVR空間に再現する
東京ゲームショウ 2016で、ひときわ話題を集めたトピックと言えば、エムツーブースにて出展されたVRの技術デモだろう。会場では、5pb.から発売中のプレイステーション Vita用ソフト『プラスティック・メモリーズ』の“ふれあいモード”をVR空間で再現（デバイスはHTC Vive）。用意されたマネキンに触ると、VR空間のアイラが実際に反応するというユニークな趣向もあり、昨今のVRの盛り上がりにも乗って、会期中は大きな注目を集めた。
［関連記事］VR空間でアイラとイチャコラ！ エムツーブースで体験できた“E-mote”のVR技術デモをリポート【TGS 2016】
マネキンに触るという展示内容も相まって、若干話題性がひとり歩きしてしまった感もあるデモだが、そもそもこのVR技術デモのキモとなるのはエムツーが持つ独自のテクノロジー“E-mote（エモート）”だ。E-moteとは、2Dイラストの質感をそのままのテイストで立体的に再現するというテクノロジー。4年前の2012年にいまの形で提供されて以降、直近の『プラスティック・メモリーズ』を始め、セガゲームス『電撃文庫FIGHTING CLIMAX（ファイティングクライマックス）』の会話シーンや、『イロドリミドリ』などで使用されてきた。今冬発売予定の5pb.の『アノニマス・コード』でも、E-moteのテクノロジーは使われている。
［関連記事］E-mote公式サイト
ディレクター 澤 和弘氏（前列右からふたりめ）
チーフプログラマー 岡田 潤氏（後列右端）
E-mote事業部 部長 デザイナー 小出忠永氏（前列右から3人め）
E-mote事業部 デザイナー 小久保裕次氏（左端）
プログラマー 吉岡龍範氏（右端）
プランナー 真々田太陽氏（後列右からふたりめ）
エムツーが誇るE-moteとは？
――そもそもE-moteVR技術デモは、E-moteのPRを目的として、企画されたものだったとか。
澤 はい。東京ゲームショウへの出展は今年で3年連続になるのですが、「今年はいつもと違うことをやりたいね」という話はしていました。弊社はどうしても“レトロゲームの復刻”という印象が強いのですが、E-moteという強力な“武器”もある。それを関係者に訴求していきたいというときに、今年は“VR元年”だとさんざん言われているので、「E-moteを使ってVRをやったらいいのでは？」ということになったんです。
――たしかに、エムツーがE-moteを展開しているというのは、少し意外ですね。
岡田 これは定番の“おもしろネタ”になってしまうのですが、E-moteの基盤になっている技術のそもそもの源流は、2009年にWiiウェア用にリリースされた『ドラキュラ伝説 ReBirth』や『魂斗羅ReBirth』あたりから開発を始めた、2Dモーションエディターなんですよ。その流れを汲んでE-moteがあるので、技術の系譜としては、うちが得意としている分野と密接に関わっているんですね。
――なるほど。大きく括れば、レトロゲームとE-moteはつながっているのですね。せっかくの機会なのでうかがいたいのですが、E-moteの特徴は？
小出 基本的には1枚の絵からスタートして、顔を上下左右に向けたり、体を動かしたりといったことを実現しているのがE-moteです。もちろん、表情の組み合わせを作ることも可能です。従来だと、立ち絵の差分を用意して、その組み合わせで立体的に見えるようにしてきた。それだとバリエーションを作るのに何10というパターンが必要なのですが、それをひとつのファイルで一括することで、組み合わせによって何100通りでも、ことによったら何1000通りでもパターンを作れるようにしているのが大きな特徴です。
――3Dで動かす敷居が低いのですね？
小出 そうですね。“イラストを気軽に動かせる”、“誰でも作れる”というのが、E-moteのコンセプトになっています。
――そんなテクノロジーを広く伝えたいということで、アピールのための手段として、VRとのマッチングを思いついたと？
澤 そうですね。で、不特定多数の方がいらっしゃる展示会場の中で、いかに注目していただけるかということで、マネキンというアイデアに到達しました。マネキンを通してVRを体験している風景をご覧いただくことによって、来場者の方が足を止めて興味を持っていただけるのではと期待したんです。それで、E-mote+VR+マネキンということで、企画を落とし込んでいきました。
岡田 現実にデバイスがあって、そこに触れるとVRというバーチャルリアリティに接続できるという仕組みは、凄くインパクトがあるだろうなという話は、けっこう初期のころからしていましたね。
小出 マネキンに関しては、みんないいアイデアだと思いつつも、「実現できるのか？」と疑心暗鬼でしたね（笑）。
岡田 とはいえ、E-moteでVRを、というのは、東京ゲームショウへの出展前から、視野に入っていました。実際のところ、表には出してないのですが、3D立体視に対する技術検証には、以前から取り組んでいたんですね。先ほど小出からご説明があった通り、E-moteは擬似的に立体感を作り出す技術なのですが、イラストを左右に振って表現するということは、そのままパラメータを左右にずれた絵を作れば、立体視に必要な“視差”に相当するものが作れるということなんです。もちろん疑似の“視差”なのですが、付けてみたところ、ちゃんと立体視っぽく見えたんです。3D立体視が行けるなら、少しチューニングしたら、VRも乗せられるんじゃないか……という話は、スタッフとよくしていたんです。
――ある意味で、東京ゲームショウでの展開は、いいきっかけだった？
岡田 そうですね。
――作業が始まったのはいつくらいからですか？
澤 構想自体は4～5月に持ち上がって、6～7月から制作に着手したのですが、本格的に始まったのは8月下旬くらいからです……。
――実作業としては、ひと月ないくらいですね（笑）。
澤 そうですね（苦笑）。まずは、マネキンの用意から始まりました。当初はレンタルを考えていたのですが、到着するのが東京ゲームショウが始まる4～5日前ということで、それだと間に合わない（笑）。それで購入することにして……。
――そこから始まったのですか……。タッチすると反応するのはどのような仕組みを使っているのですか？
澤 静電センサーを使っています。
岡田 ただ、そこに至るまではけっこう二転三転ありましたね。今回、モニターに表示される途中の手の動きは、“Leap Motion※”が担っているのですが、当初は全部を“Leap Motion”で対応するという話もあったんですよ。
※ユーザーの手と指の動きを感知して操作できるデバイス
澤 あとは、単純に物理センサーでいくというアイデアもありましたね。スイッチを押すことでオン/オフが切り換わるという。
――それは微妙に興醒めですね（笑）。
吉岡 で、「静電センサーをマネキンにつけてタッチができないか？」という相談をされまして。とりあえず試してみたところ、思いのほか簡単に実装できたんです（笑）。ただ、最初に試した静電センサーは、反応がひとつしか取れなかったのがネックで……。静電センサーに関しては、Arduino（アルデュイーノ）を使って制御できるセンサーが見つかったのが大きいですね。
――Arduinoですか？
岡田 はい。Arduinoというのは、入出力ポートを備えた基板なのですが、試しにそれを使って制御してみたところ、最大12点まで取れることがわかったんですね。それで、「静電センサーでいこう」ということになりました。とはいえ、今回のケースでは、静電センサーに直接触るのではなくて、服を着せたうえでタッチすることになる。素材によって反応するかしないか懸念材料だったのですが、そこはたぶん大丈夫であろうという、割と甘い見通しのもとにプロジェクトを進めました（笑）。
澤 マネキンが届いたのが、9月の頭くらいですからね。センサーを仕込んで服を着せて、人間の手で触ってどれくらいの静電気があれば反応するか……という調整ですごく苦労しました。静電気も個体差がありまして……。
真々田 マネキンが来たら来たで、そのままで使用というわけにはいかないので、スタッフの要望に応えて調整していきました。とくに、マネキンの感触には気を配りました。あとは、Arduinoの基板を収めるケースを3Dプリンターで作ったり……と、私は基本的にはアナログ仕事ばかりでした（笑）。
――ゲーム開発会社らしからぬ立ち位置ですね（笑）。
E-moteのVR化は、いろいろな意味でタイミングが合致した
――ハードウェアはハードウェアで制作しつつ、一方では肝心のソフトのほうも？
岡田 はい。並行して進めていきました。
小久保 当社ではMAGES.さんの『プラスティック・メモリーズ』の開発を担当しているのですが、「VRコンテンツを作ろう」となったときに、その素材を使ったら効率的では……との判断になったんです。同作にはE-moteが採用されていますし、ゲームとしてすでに確立していますので。
小出 そんなときにちょうど、『プラスティック・メモリーズ』の公式サイトで、“ふれあいモード”の体験版を、ブラウザで動くバージョンを提供させていただいたんですね。WebGLで動くようにUnityに乗せたのですが、「Unityで作ったということは、そのままVRに持っていけるということですよね……」という話がでてきて、MAGES.さんに相談させていただいたところ、「そういうことでしたらぜひに」ということで、実現する運びとなりました。
――いろいろな点で、タイミングが合致したようですね。
澤 東京ゲームショウでの出展から『プラスティック・メモリーズ』の発売日（10月13日）まで近いし……ということで、トントン拍子に話が進みました。相当なスピード感でしたね。
――E-moteのテクノロジーをVRに組み込む上では、ご苦労も多かったと思いますが……。
小出 どうしても見えかたが二次元前提というか、平面を前提としたアニメーションなので、やはり作り込みが甘くなってしまうんですね。もっと調整すればもっと立体視に見えるというのが、だんだんわかってきました。
――どんなところが、作り込みが甘くなってしまうのですか？
小出 “甘くなる”というと語弊があるのですが、たとえば、平面で見たときに右に向かうという動きをしたときに、プレイステーション Vitaに表示するのが前提の二次元の絵だと破綻がないように調整できる。でも、同じデータをそのまま3次元に投影すると、立体感というか、“突き出た感”が甘くなってしまう。そこで、ある程度破綻しても構わないので、思いっきりよく動かすような形で、よりVRに向いた味付けをしていく感じですね。
小久保 とくにアドベンチャーゲームのグラフィックの描かれかたというのは、真正面から見た構図になっているのですが、実際にVRで見ようとすると、上から見たような視差というか、2点透視の描きかたが必要になるんですね。ふつうの立ち絵だと当然描かれていないので、たとえばブーツであれば上から見たブーツの形がちゃんとわかるような描きかたをしないといけないということがわかりました。
――それは、どのようにして補うのですか？
小久保 職人技というか、カンと言うか（笑）。とにかく立体的に見えるように、何度も調整を重ねていきました。エディターはWindowsなのですが、平面的なエディターで調整したものを、実際にVR画面に持っていって、ヘッドセットで確認。ダメなら修正というのを何度もくり返す形で調整していきました。
岡田 “VRは体験してみないとわからない”というのは開発にも当てはまっていて、開発者も実際にVRのヘッドセットをかぶって「どこがおかしいのか？」というのを目で見ながらチェックしていかないと、確認できないんですよね。これが何気にたいへんでした。
小久保 自席のPCの前で調整して、ヘッドセットをかぶって確認して、また席に戻って調整するという。
小出 補足説明をしておいたほうがいいのかもしれないのですが、E-moteはどこまでも2Dのデータなので、当然ですが、3Dのデータというのはどこにもまったく入っていないんですね。視差があるように見えるのも、2Dで作っている。そこでさらに立体視にしたときに破綻するところがあったら、それを手で直してちゃんと見えるところまで持っていくという作業をしていくんです。なんだかんだ言って、全部で2日はかかってないです。
――すでにソースがあったこともあり、VR化自体はそんなに比重は重くなかった？
小出 もちろん、キモではありましたね。最初にVRに組み込んだ段階で、顔はだいたい立体感が出ていたんですね。一方で、髪の毛や胴体のほうはかなり薄い感じでした。2Dに投影している分には違和感はないけど、3Dにすると違和感が出るという。要は、立体感のつけかたで手を抜いていた部分が、実際に立体化すると際立つという……。
小久保 わかりやすく言えばですね、ふつうに体を動かしたときに、ただの1枚絵だったらふつうに見えるのですが、（E-moteで）立体化するときに作り込みが甘いと、（VR化すると）お腹が凹んで見えたり、出っ張っている部分がなぜか奥のほうに見えてしまったりとかいう現象が生じるんです。そういうところは適宜手動で調整して、変形の仕方を強調したり緩和したりする……という作業が必要になりました。
岡田 おもしろいのが、顔に関しては基本的にほぼ調整なしで、立体的に見られるんです。人間の目って、人間の顔に対してはメチャメチャ感受性が高いので、2Dでもしっかりと描き込んでいるので、立体視化したときも、ふつうに作り込んだだけで立体的に見えるところまでになっているという。人間の関心度の差が、データにも如実に現れるんですよね。
――ああ。人間の関心が薄いところは、手を抜きがちになるということですね？
岡田 認知の感受性が、そこまでは高くないということなんですよね。VR空間にキャラクターを置くということを考えたときに、2.5次元が、3次元のポリゴンモデルにかなわないというのは、基本的な大前提なんですよ。いろいろなアングルから見たり、向きを変えられるのがポリゴンモデルにかなわないというのは、あたりまえのことで……。E-moteに関して言えば、個性の強いイラストレーターさんのタッチを、そのまま2.5Dに持ってこられるというのが大きな強みなんです。イラストレーターの個性が、なるべく違和感なくVR空間に溶け込ませられたら、それはすごくステキなことだという思いがありまして……。今回の技術デモでは、それを念頭に置いています。
――2.5次元ならではのよさがあるということですね？
岡田 で、プログラム的なことで今回すごく気を使ったのが、“板が立っているように見えないようにしよう”ということでした。2Dと言えば、いわばカメラに対してつねに正面を向いているビルボード（看板）のようなものですが、そのまま実装してプレイヤーがキャラクターに周り込んだときに、つねに正面を向くというのは、とても興醒めな動きになってしまうんですよ。板であることが一瞬にしてわかってしまう。
――ああ！ 2Dのキャラクターがつねにプレイヤーのほうに向いていると、板的であることが際立つということですね？
岡田 そこの制御には今回とても気を使っていて、カメラが回り込んだときは、キャラクターはすぐにプレイヤーのほうに向きを変えるのではなくて、すぐにはこちらを向かないように制御しているんですよ。一端、それまで向いていた方向の絵を見せたうえで、プレイヤーのほうを向かせるようにする。
――たしかに、そのほうがリアリティーがありますね。
岡田 実際の人間の動きもそのハズなんですよ。100％つねに、相手に正面から相対しているわけではなくて、相手が動いたら、しばらくしてから向きを変える……といった動きをするわけじゃないですか。目線はずっとプレイヤーを追従して、首がひねられて顔が動いて、最後に体がこちらを向くという。そのあたりの動きの制御を真面目に作り込んでいきました。その点は、回り込みをしたときの違和感を消すのに、かなり貢献していますね。
小出 人間らしさを感じていただけるように、しぐさや動きなども注力して作り込んでいったという感じです。
――VR空間では、動きも大切になるということですね。
できあがった試作品は、思った以上のインパクト
――で、ぎりぎりのタイミングでマネキンが来て、ハードウェアとソフトウェアを合体させたのですね。
澤 マネキンとソフトウェアを組み合わせてたいへんだったのは、実際のマネキンの身長とVR上のアイラの身長がマッチしていないので、マネキンは触っているんだけど、VR上のアイラにはまだ触れていないのに反応してしまうという部分がどうしてもできてしまうんです。
岡田 頭のサイズが決定的に違うんですよね……。マネキンと2Dとでは。どうしても等身が違う。そこで、もとは150センチメートルだったアイラの設定を、VR空間では160センチメートルくらいにしたんですよ。マネキンと違和感がないように。MAGES.さんには、「ちょっとだけ身長を上げさせてください！」とお願いしました（笑）。
――（笑）。
小出 VR空間は、当然といえば当然ですが、VR空間はリアルの影響がけっこう大きいというのは、今回の気づきのひとつですね。
岡田 キャラクターに100％合わせようと思ったら、マネキンのほうをいじらないといけなくなる。
真々田 最初は、それでいちから作ってほしいというリクエストもありましたね（笑）。
岡田 それはそれで難しいところがあって、アニメのキャラクターを等身はそのままで現実の世界に持ってくると、たぶん見た目が気持ち悪くなるんですよ。アニメの中だと違和感がありませんが、現実世界であんなに頭が大きかったら、ぎょっとすると思うんです。そのへんの難しさがありましたね。
――実際完成してみていかがでしたか？
岡田 思った以上のインパクトでした。「実際に触って反応があるのはすごいね！」と、みんなでびっくりしました。
――インパクトはすごいですよね。
小出 髪なら髪、服なら服の感触がちゃんとあって、触ったときに目の前にいるキャラクターもちゃんと反応する。自分にちゃんとフィードバックが返ってくるというので、すごく新鮮でしたね。
岡田 アニメのキャラクターが目の前にいて、実在感を持っているというのは、シンプルにすごくうれしい経験でしたね。
――東京ゲームショウでの出展を経て、今後のE-moteの展開に関して、どのような可能性を抱いていますか？
小出 東京ゲームショウで展示をして、いくつかの企業様からお声かけいただいています。弊社としましても、Unityを中心に各種プラットフォーム向けに、E-moteのVR用SDK（開発キット）を開発中でして、近いうちに公開する予定でいます。
岡田 東京ゲームショウでの反響は大きな手応えとなりました。実際に作ってみたところ、“実用化できる”との感触を得ましたので、さらにブラッシュアップを重ねて、製品としてのE-moteに磨きをかけていくということが決定しています。
小出 3Dに頼らずに、2次元の絵をVR空間に出すということに関して、ノウハウをいちばん持っているのは、たぶんうちです。
――SDKは、いつくらい提供される感じですか？
澤 なるべく早く……ということで考えています。
岡田 いずれにせよ、E-moteのVRは、もっと立体化が図れるように研究は続けていきたいですね。今回の技術デモで、けっこう実用域に入ったというのはわかるのですが、下を見たときに、キャラクターの足が薄っぺらく見えてしまうというのは、じつはどうにもなっていなくて、そこはいろいろと改良の余地はあると考えています。ですので、いろいろと手を入れていく予定でいます。ただ、うちとしては、あくまでも“2.5次元”という大前提は動かさないで、そこは“手数はかけずに、いかにそれっぽく嘘をつけるか”ということに注力していきたいということは、大前提として動かないです。もともと2次元の絵をVRにぶっこむというのは、かなり無茶な話なので、ある程度の破綻がでるのは、大前提としてしょうがないと割り切っています。そのうえで、ご覧になった方が「これくらいの嘘だったらぜんぜんありだよね」と感じていただけるレベルまで落とし込んでいければ、ずいぶんと活用できる場面もあるんじゃないかなと思っています。
――使い道はいくらでもあると？
岡田 VR空間において、キャラクターの周りを回り込めないというのは、人物表現として使える場面は限定的になるかと思います。でも、たとえばVRのRPGで、お店のシーンがあったとして、店員さんがカウンター越しにこちらを見ているような、限られたアングルだったら、十分使えますよね。見せからはいろいろとできるハズなんですよ。そういう場面で立体感を持ったイラストのキャラクターがそこにいるというのは、すごく使い手がある。そういう方向で盛り込んでいければ……と思っています。
澤 E-moteのVRは、2.5次元ならではの企画を絞り込んでいけば、もっといいものができるのではないかと思っています。個人的には旅が好きなので、たとえば観光地で360度の写真を撮影して、映像中で2.5次元の女の子と旅をしている気分を味わうとか。あるいは、3DのVRコンテンツに、メディアミックスとして、アニメのキャラクターが2.5次元になってゲスト出演するとか……。いろいろと使いかたはあるのではないかと。
岡田 コストをかけずにスピーディーに導入できるのが、E-moteの強みだと思っています。3Dモデルから起こすよりは、ずっと早く導入できるので……。
――低コストといえば、今回のプロジェクトそのものにしても、相当リーズナブルな感じですよね？
岡田 そうなんです。Unity、Arduino、3Dプリンターなどを組み合わせて、非常に短期間かつ低コストで実現できました。おそらく10年前だったらめちゃめちゃツラい仕事だったと思うのですが、いまなら工夫できる範囲で、比較的短期間でできる。がんばれば個人でもできてしまうんですね。がんばれば、個人レベルでもできる。おもしろい時代だなと思いますね。
――お話をうかがっていると、今回のプロジェクトはエムツーさんだからこそ実現できたという感じがしますね。向いている方向性がいっしょというか……。いい意味で文化祭のノリですね。
小出 まあ、そもそもHTC Viveからして社長（堀井直樹氏）の私物ですからね（笑）。「会社のためにいいですよね？」と言って借りパクした（笑）。
吉岡 借りパク言うな！（笑） まあ、Arduinoも私物だったりしますからね。
――ちなみに、来年の東京ゲームショウにも出展するのですか？
澤 検討中です。今年せっかく話題を集めてので、もっとすごいことをやってみたいとは思っています。“壁ドン！”とか（笑）。
岡田 それは見てみたいけど、どうやってやるんだろうなあ（笑）。
小出 いずれにせよ、VRということで言えば、今後いろいろなアイデアが出てくるでしょうね。今後の展開にご期待ください。
