ノンゲームVRコンテンツ制作のポイントとは!?
2016年8月24日～26日の3日間、パシフィコ横浜で開催されている、日本最大級のコンピュータエンターテインメント開発者向けカンファレンス“CEDEC 2016”。本記事では、初日となる8月24日に行われたセッション“ノンゲームコンテンツ Making : PlayStation VR ノンゲームコンテンツの制作事例”のリポートをお届けする。
本セッションでは、ソニー・インタラクティブエンタテインメントジャパンアジア ソフトウェアビジネス部 次長の秋山賢成氏が、ノンゲームVRコンテンツ制作を通して、どのような問題が発生し、それをどのようにして解決したかをふたつの制作事例をもとに解説した。
ひとつ目は、8月31日まで開催中のフジテレビ主催のイベント“お台場みんなの夢大陸2016”で体験できるPS VR用コンテンツ“ほん怖プレゼンツ『乃木坂46 VRホラーハウス』”。
［関連記事］
PS VRが技術協力した“ほん怖プレゼンツ『乃木坂46 VRホラーハウス』”がお台場に登場！
同コンテンツは、360度映像だけでなく立体視にも対応している。立体視の実現には、右目用と左目用の映像を分けて作成しているため、通常よりも多くのカメラで撮影が行われたという。左右分割ではなく上下分割を採用した理由について、秋山氏は「プレイステーション VRの視野角は約100度あり、縦よりも横の情報が重要になってくるため、左右分割にするよりは上下分割にして、横の広がりを解像度に活かすというような手法を取った」と理由を説明。
フレームレートは、レンダリング部分に関しては120Hzで動作してるとのこと。動画ファイル自体は30～60フレームとなっているが、VR関連の処理としては120Hzで動作するため、ヘッドトラッキングによる視点移動などは、かなり快適なものになっているという。
続いては、サラウンドに関する話題。プレイステーション4やプレイステーション VRでは、平面的な音ではなく、上下左右、四方八方からの音で感じることのできる“3Dオーディオ”を使用できる。プレイステーション VRで3Dオーディオを使用する場合は、以下のふたつの手法があるという。
・モノラルの点音源データ + 座標情報 + 音量
・アンビソニックにエンコードされたチャンネル情報
しかし、同コンテンツでは秋山氏らが想定していた3Dオーディオの集音方法ではなかったため、どちらの手法も使用せず、違った方法で実装することになったそうだ。その方法とは、各音声の発音タイミングと方位の指示書をもとにひとつひとつ手動で設定していくというもの。さすがに効率が悪いということで、指示書の内容を自動的に配置できるシステムを用意したのだが、絵と音が微妙に合わないという問題が発生してしまったという。この問題は、指示書を作っていたPCの時間軸とプレイステーション4上の時間軸があわないことなどから発生する問題で、最終的にはムービー側にランタイムの処理をあわせることで解決したとのこと。
そして、ふたつ目の事例である“『シン・ゴジラ』スペシャルコンテンツ for PlayStation VR”についての話題に突入。プレイステーション VRで『シン・ゴジラ』のコンテンツを制作することになった理由などのについては時間の都合上、割愛となってしまったので、詳細は下記のページや関連記事をチェックしてほしい。
※PlayStation Blog 『シン・ゴジラ』スペシャルデモコンテンツ先行体験会リポート記事
［関連記事］
樋口真嗣監督も登壇した『シン・ゴジラ』PS VRコンテンツの特別体験会＆トークショーを開催！
最初のテーマは、“映画コンテンツからVRコンテンツにする際の絵コンテ”というもの。VRコンテンツでは、ユーザーが好きな場所を見られるため、制作者の見せたいポイントをユーザーが必ず見てくれるとは限らないという問題が存在する。そのため、映画のように絵コンテを作ることができず、何度も試行錯誤を重ねたとのこと。
また、VRコンテンツを作るときには、「みんながイメージを共有することが大切」と秋山氏は語っていた。その理由として、イメージが共有できていないとあとから、「そうじゃなかった」となることが多いとのこと。そういった問題が起きないために、一連の流れがわかるプリビズ動画をいくつも作成し、開発チームや関係者などで確認しながら制作を進めていったとのこと。
続いては、“シン・ゴジラの最適化”という話題。本題に入る前に、秋山氏は快適なVR体験を得るには60fpsのフレームレートを崩してはいけないということを説明。つまりそれを言いかえると、16ms以内に1フレームを描画するための処理をすべて完了しなくてはならないということ。そのためには、映画用に作られた最高級のフルCGアセットを最適化する必要があったのだという。
それを実現するため、制作にアンリアルエンジン4が採用された。理由については、“ソースコードが提供されているためパフォーマンスの最適化が可能”、“CG業界の制作スタイルにあったプリビズ制作が容易”、“短期でシェーダー・エフェクトなどが試行錯誤できる環境である”などが決め手になったとのことだった。
同エンジンを導入したことで、簡単に絵が表示されたが1フレームの処理に40msも掛かっていたため、やはり最適化の必要があったという。負荷の原因を調べてみると、約650ポリゴンをGPUに投入していたため、ジオメトリ描画を行うパス負荷だけで24msを超えてしまっていることが判明。その理由として、映画用のデータをそのまま使用しているので、少ししか見えない遠くのものまで、高ポリゴンで作られていたことが原因だという。そこで、遠景のポリゴン数を整理などして340万ポリゴンにしたところ、20ms秒まで減少。
まだ、目標の60fpsのフレームレートを実現するのに必要な16msを切れてないということで、さらに東京駅と岩や瓦礫などのモデルを最適化したが少ししか変化しないという結果に。しかし、これには理由があり、「せっかくだからキレイに見せたい！」ということで、解像度を上げたため、ジオメトリの処理時間は減少したものの、PostEffectが増加し、トータル的にはあまり変化がなかったのだという。
3回目の最適化では、PostEffect内のSSR(Screen Space Reflections)に1.9ms掛かっていたが、あまり見た目に変化がなかったため、カットすることに。それだけでなく、ポリゴン数を1/3まで最適化し、16msを下回る13msを達成。
目標を達成したものの調べてみるとまだ最適化できるポイントがあることが判明。最終的にポリゴン数を112万減らし、パーティクルライトもカットして、さらなる負荷軽減に成功。その余ったパワーを解像度に利用し、クオリティアップを実現できたとのこと。
そして最後のテーマ“映像会社の実装：本当にあった×××な話”へ。ここでは、本コンテンツを制作した、“SOLA DIGITAL ARTS”の八木下浩史氏が登壇し、開発の苦労話などが語られた。
まず、通常の映像制作とVRコンテンツの制作の大きな違いについては、やはり秋山氏も挙げていたように絵コンテを作ることができない点だと八木下は語っていた。その問題の解決策として、絵コンテの代わりとなる、やりたいことにイベントの尺を入れた字コンテを作成し、設計図にしたとのこと。
また、映像のチェックに関しても違いがあり、通常の映像制作では巻き戻したり、一時停止したりというようにじっくりと確認できるが、リアルタイムコンテンツでは、それらが使用できないため、苦労したそうだ。しかし、今回のデモではプレイヤーが動くことができない定点カメラだったため、想定するカメラワークを設定して、それをスクリーンキャプチャーで確認するという方法で問題は解決したとのことだった。
アニメーションの指示についても、絵コンテが無いためスタッフにイメージが伝わり辛く、明確な指示出しが必要だったという。イメージを共有するため、実際の東京駅の画像を使って、アニメーションの動きを描き込んだ指示書を作成したりするなどの方法が取られたそうだ。
さらに音響作業についても、アニメーション作業と並行して進める必要があったため、サウンドスタッフ用に指示ムービーを制作したというエピソードが披露された。音の配置に関しては、ゴジラの迫力を表現するため、3D音響で足音や鳴き声をつけてみたところ、音の方向性がハッキリし過ぎて、違和感が出る結果となってしまったという。また、アンリアルエンジン4に搭載されているオブジェクトの遮蔽や距離感で音の大きさを調整してくれる便利機能が逆にネックなるという事態も発生。東京駅の奥にいるゴジラの足音が遮蔽され小さくなってしまい、ボリュームを最大に設定しても迫力に欠けるものになったのだとか。ただ、本コンテンツではプレイヤーが移動しないことを利用して、本来のゴジラの位置ではなく、東京駅より前に音を配置することで無事その問題は解決できたとのこと。
そうした試行錯誤をくり返して完成したコンテンツを実際に確認してみたところ、いまひとつ迫力が足りないものになっていたのだという。そこで、秋山氏の提案でゴジラの歩きにあわせて、DUALSHOCK4（※コントローラー）を振動する機能と画面が揺れるように変更したところ、かなりいい仕上がりになったそうだ。
最後に八木下氏からまとめとして、映像会社がリアルタイムVRコンテンツを作ってみて気付いたこと3点が紹介され、セッションは終了となった。
