写真から3Dデータを作成する超技術!

 2016年8月24日~26日の3日間、パシフィコ横浜で開催された、日本最大級のコンピュータエンターテインメント開発者向けカンファレンス“CEDEC 2016”。3日目に開催されたセッション“BIOHAZARD 7 - PHOTOGRAMMETRY -”のリポートをお届けしよう。

 本セッションでは、『バイオハザード7 レジデント イービル』で使われている“PHOTOGRAMMETRY(フォトグラメトリー)”という技術の紹介と、それを使用した『バイオハザード7 レジデント イービル』のデータの作成例を公開。超リアリスティックな映像がどのように作られているのかが、わかりやすく紹介された。

あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_01
▲カプコン 黒籔裕也氏。カプコン初の3Dスキャンスタジオを設立、スタジオディレクターでもある。

 では、セッションの内容を追っていこう。前半は、カプコン CS第一開発統括 第一開発部 第一ゲーム開発室 黒籔裕也氏による、キャラクターの作成方法。まずはお題となっている“フォトグラメトリー”について解説。これは、簡単に言えば「写真から3Dデータを作成する技術」だそうだ。

 氏によると、専用のソフトを使うことで、超ハイエンドCGが「比較的簡単に作成できるようになった」とのこと。では、作成の大まかな流れを見ていこう

あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_02
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_03
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_04
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_05
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_06
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_07
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_08
▲その写真をデータ化し、ソフトウェアで3Dデータを生成していく。
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_09
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_10
▲こうして超ハイクオリティな3Dモデルが完成。従来は職人技を持つ3Dアーティストが手作業で作成していたものが、写真から作成できるようになったのだ。

 このように、実在する人物や物体を、(あくまでこれまでの作成よりかは)手軽に作れるようになったそうだ。

 さて、なぜこのような技術を社内で実用化することになったのか。きっかけは、『バイオハザード7』開発当初のオーダーだったそうだ。

 カプコン第一開発部では、“一件の価値あるおもしろいゲームを作る”、“世界一のビジュアル品質を目指す”という目標でゲームを開発。そして、『バイオハザード7』では、これまでよりも高品質なフォトリアルの映像を、より短時間、少人数で、これまで以上にたくさん作れ、というオーダーだったそうだ。

 ムチャクチャな命令だが、「プロなのでなんとかすることにした」と黒籔氏。また、リアルな人間の造形はとても難しく、「アーティストのスキルに依存する開発フローをなんとか改善したい」という思いも抱いていたそうだ。

あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_11
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_12
▲上層部より下された『バイオハザード7』開発時の目標。
▲それを聞いた黒籔氏の心情。

 そこで目をつけたのが、このフォトグラメトリー。だが、実際にゲーム開発に使えるかどうかは未知数のため、まずは実験からスタート。最初はターンテーブルにアイテムをのせ、1台のカメラで何枚も写真を撮影し、開発に耐えられるものかどうか検証。そこで完成した3Dモデルは驚愕のクオリティーで、思った以上の成果を得られたとのこと。

あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_13
▲手始めに、ホームセンターで材料を購入し、検証設備を作成。
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_14
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_15
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_16
▲ターンテーブルに靴をのせて撮影し、3Dモデルを作成。この時点で圧倒的なクオリティー!
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_17
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_18
▲大きな衣装を撮影してみたり、複数人での撮影にチャレンジなど、規模を大きくしながら実験を重ね、成功する確信をつかむ。同時にノウハウも蓄積。

 この技術はいける!と確信した黒籔氏は、カプコン内に本格的な3Dスキャンスタジオを作成することを決定。とりあえず、ということで一眼レフのデジカメを150台(!)導入。これを使用し、内部のスタッフで、カメラを100台使用したボディ用のスタジオと、カメラを40台使ったフェイス用のスタジオを作り上げた。ふたつに分けたのは、利便性を考えた結果だそうだ。

あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_19
▲大量のデジタル一眼レフを購入し、記念撮影。
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_20
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_21
▲社内のスタッフで、3Dスキャンスタジオを構築。

 そうして実際に3Dモデルを作成してみると、造形はもちろんだが、「とくにテクスチャのクオリティーがすばらしい」と黒籔氏。ある意味人間のレベルを超えたものを作成できるほどだとか。

 ただし、ヒゲや髪の毛など、毛羽だった部分は、フォトグラメトリーが苦手とする分野なので、そちらは手作業でポリゴンを貼り付けていったそうだ。

あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_22
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_23
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_24
▲構築した専用スタジオで作成された3Dデータ。ヒゲや髪の毛など、3Dスキャンが苦手とする部分は、手作業で修正。
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_25
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_26
▲この技術は、『バイオハザード アンブレラコア』でも使用された。
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_27
▲先日配信された『バイオハザード7』体験版の主人公。しわの細かいディティールもスキャンで作成。

 またフェイシャルキャプチャーにも応用し、フェイシャルアニメーションを作成。「アーティスト個人の能力に依存せずに、高いクオリティの表情を作れるようになった」と黒籔氏。

あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_28
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_29
▲フェイシャルアニメーション、つまりキャラクターの表情作成にも応用。
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_30
▲これまではうまく作成できなかった、唇を巻き込んだり、ほほを膨らませるような表情も、この技術で実現。

 続いて、従来の作業におけるコストの比較。「モデリングに関係する部分は、前回よりも半分ほどに圧縮できたと思う」と黒籔氏。さらに、完成までの時間が短縮するだけではなく、「高品質に到達するまでの時間が圧倒的に早い」ことも大きな長所だという。

 ただし、「手抜きができるわけではなく、努力や根性、センスは必要」とも語る。「アーティストのクリエイティビリティや付加価値が必要であることは従来と変わらない」そうだ。

あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_31
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_32
▲作成コスト(ここでは日数という意味)の比較。従来ではコツコツと作り上げていくため、日数に比例してクオリティが上がる状況だった。
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_33
▲品質の内訳を図に表した物。「同じ労力でも、技術によって加算されたクオリティが非常に大きい」(黒籔氏)

 フォトグラメトリーを使用すれば、“撮影できる”ものは簡単に3Dモデルを作成できるようになった。だが、ここで問題がひとつ発生する。逆に、“撮影できないもの”、つまり現実には存在しない物は、どのようにしてクオリティーを上げ、全体的なバランスを取ればいいのだろうか。

 黒籔氏が取った解決策は単純で、ないものは作る!という手法だ。とりあえずテストということで、メーキャップの材料を購入し、スタッフどうしでゾンビを作成してスキャン。こちらもうまくいったため、改めて特殊メイクの専門業者に依頼し、ゾンビを作成したそうだ。

あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_34
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_35
▲スタッフをゾンビ化させてスキャンし、3Dデータ化するテスト。
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_36
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_37
▲テストに手応えを感じたため、専門業者に発注し、ゾンビを実際に作成、スキャン。「肉をえぐったり、マイナス方向へ作るのは素人では難しい」(黒籔氏)
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_38
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_39
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_40
▲体験版で登場したファミパン親父(通称)のメイキングも紹介。「完全に映画やドラマの撮影現場みたいになってしまった」(黒籔氏)

 このように、役者を撮影してキャラクターを作る場合は、キャスティングが勝負になるという開発秘話も。「役者自体のたたずまいが現れるため、いい役者が見つかれば最終的な品質もよくなる」と、クオリティーアップのノウハウを明かしてくれた。

あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_41
▲フォトグラメトリーで3Dスキャンを行う場合のコツも伝授。

フォトグラメトリーはステージ作成でも有効

あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_42
▲カプコン 遠藤和幸氏。『バイオハザード7』ではリードアーティストとして参加。

 セッション後半は、カプコン CS第一開発統括 第一開発部 第二ゲーム開発室 遠藤和幸氏の講演。テーマは、前述のフォトグラメトリーを使用した、背景やステージの作成方法だ。

 最初に行ったのは、キャラクターと同様に検証作業。実在する物を3Dスキャンで作成したデータが、ステージ制作で使用できるかを試す作業だ。

あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_43
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_44
▲影が出ないように、大量のストロボを使用して撮影。対象が持ち運べる場合は、広い場所で周囲を回りながら撮影したそうだ。

 このテスト撮影で得られたノウハウは、「ライティングの重要さ」と遠藤氏。均一で明るい光を当てることで影をなくし、手ぶれを軽減できるそうだ。ただし、強い光が当たるとスペキュラが発生し、スキャンするときにうまくいかない。ライトは一度壁に当てるなど、反射光を利用するのがコツだそうだ。

 また写真を撮影するとき、少しだけ角度が異なる2枚の写真をペアとして利用することで、スキャンの精度が向上するため、ペアカメラのガジェットも作成したという。

あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_45
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_46
▲独自に作成したカメラの連結装置。2台のカメラが連動しており、同時に撮影できる。
▲撮影した写真から作成された3Dデータ。

 テストで手応えを感じたことから、いよいよ本番の撮影へ。『バイオハザード7』の舞台はルイジアナのため、現地にあるものをできるだけスキャンしたい。ただし、現地へ撮影機材を運び、スタッフが長期間滞在することは、現実的な選択ではない。そこで、海外の委託会社に協力を依頼し、ノウハウをレクチャーして撮影を行ったそうだ。

 この手法のメリットは、「その地域の世界観を再現するのにとても効果的」(遠藤氏)。逆にデメリットは、著作権での問題が発生する可能性があることだそうだ。

あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_47
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_48
▲海外で撮影し、作成された3Dデータ。
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_49
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_50
▲木の根や岩も、この手法で作成。こちらは日本で撮影したそうだ。
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_51
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_52
▲作成されたデータを元に作られた、ステージの一例。

 現実に存在しない小物はどうするか、という問題だが、こちらもキャラクターのときと同様に、実際に作成してスキャンしたとのこと。「現実で制作したほうが、生々しさが出ると思ったので、チャレンジしてみた」と語る遠藤氏。

 ゴミ袋など光沢がある物体スキャンする場合は、スプレーなどでいったん光沢を抑え、認識されやすいように絵の具で汚してからスキャンしたそうだ。「しわや、中身にゴミが詰まっている様子が上手に表現できた」(遠藤氏)。

あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_53
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_54
▲壊れた人形、わら人形などは実際に作成して撮影。
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_55
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_56
▲ゴミ袋はスキャンしやすいよう、光沢をなくして汚してからスキャンしたそうだ。
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_57
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_58
▲気持ち悪い料理も実際に作成。このように、実際に作成してスキャンする作業は「とても楽しかった」と遠藤氏。

 今回、新たにPhotometricStereo(照度差ステレオ法)という技術も導入。こちらは簡単に言うと、素材からテクスチャとなるノーマルマップ(ポリゴンを使わずに凹凸を再現するデータ)を作成する技術だそうだ。

 この技術を使えば、現実に存在する物なら、撮影するだけで、ノーマルマップがあるテクスチャを作成できる。素材集にないテクスチャを作れたり、べつの素材で異なる質感を出せる。

あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_59
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_60
▲撮影した写真から、ノーマルマップがあるテクスチャを作成できる。
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_61
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_62
▲くしゃくしゃにした紙を利用して、アルミのパイプの質感を再現、といった応用も。

 さらに、素材の詳細なディティールを再現できることも長所。たとえばダンボールのデータを作成する場合、これまではハイポリゴンでダンボールの3Dモデルを作成するか、ダンボールを写真で撮影して、専用ソフトで簡易的なノーマルマップを作る、という手法だった。

 だが、PhotometricStereoを使えば、現実のダンボールを利用して、ノーマルマップを作成できるわけだ。この技術はゲームのクオリティーを向上させるためにとても有効なため、こちらも会社の一室に専用のスタジオを作成したそうだ。

あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_63
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_64
▲植物を再現するためにも効果的だそうだ。

 データ作成の時間も圧倒的に早い。撮影した写真を元に、でこぼこの陰影情報を計算し、ひとつの素材のノーマルマップとアルベドマップができるまで、その後の行程も含めて約20分だとか。

あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_65
▲トータルで見ると、コストを40パーセント削減。「いちばん大変なのは、思い描く素材を捜したり、自分で作成するところ」と遠藤氏。
あの“ファミパン親父”は実在した! 『バイオハザード7 レジデント イービル』キャラメイクの超技術が明らかに【CEDEC 2016】_66
▲PhotometricStereoが苦手とする素材。これらの場合は、着色したり、つや消しスプレーで光沢を抑える、といった工夫が必要とのこと。

 最後に遠藤氏は「今回紹介した手法は、求めている絵を作るための手法のひとつに過ぎません。『バイオハザード7』が求めるリアルな絵とは相性がよかったため、クオリティーを高める近道になったのは間違いないと思います」とコメント。こうして大盛況のうちにセッションは幕を閉じた。

 現実の物がそのままのクオリティでゲームに登場する、という一点だけを見ても、非常にワクワクする技術。題材となった『バイオハザード7』はもちろん、この技術を利用したほかのカプコン製ゲームの登場も、非常に待ち遠しい。