2020年9月2日~4日まで、CEDEC公式サイトのオンライン上にて開催された日本最大のコンピュータエンターテインメント開発者向けのカンファレンスCEDEC 2020。

 本記事では、1日目におこなわれた『『ファイナルファンタジーVII リメイク』(以下、『FFVII リメイク』)のモーションに関するセッション“『FINAL FANTASY VII REMAKE』におけるキャラクターアニメーション技術”をリポートする。

『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】

 本セッションでは、前半にキャラクターの身体に関するモーションについて、スクウェア・エニックスのリードアニメーションプログラマー・原 龍氏が解説し、後半にキャラクターの顔の動きについて、フェイシャルディレクター・岩澤 晃氏が解説した。

 開発技術メインのお話ではあるものの、興味深い話も多いので、『FFVII リメイク』ファンも「興味ないね」とは言わずに、ぜひ読んでみてほしい。

『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
左が原 龍氏、右が岩澤 晃氏

これまでのモーション技術を結集

 『FFVII リメイク』のみならず、昨今のAAAタイトルは、よりリアルで、より多彩な動きをゲームに取り入れるべく、キャラクターのモーションだけでも膨大な数が必要だ。その作業工程を緩和すべく、モーションの自動生成や、モーションとモーションのあいだを補完するなど、あらかじめ決められた命令に沿ってゲーム内のモーションに反映される“プロシージャルアニメーション”という手法が採用されている。

 まずはキャラクターの身体のモーションについて。『FFVII リメイク』は、昨今のゲームでは主流となっているゲームエンジンUnreal Engine 4を採用している。目新しい技術は使用していないものの、これまでCEDECで発表されたような、既存の技術の集大成でモーションを構築していると、原氏は最初に語った。

『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】

 『FFVII リメイク』はRPGでありながらも、ボタンを入力すれば敵を攻撃し、前転で敵の攻撃を回避するなど、アクション性の高いゲームだ。そのため、ボタン入力をすれば瞬時にそのモーションがゲーム内に反映される必要がある。ただし、可能な限り変な動きにはならないよう、モーションを破綻させないことを目指したという。

 そのために、本作にはモーションとモーションのあいだを補完する“慣性補間”という技術が使われている。従来はモーションとモーションを自動でミックスし、その中間でモーションをつなぐという手法が使われていたが、慣性補間は簡潔に言えば、モーションがミックスされる直前のポーズデータを参照し、つぎのモーションの最初にミックスされるという手法。

『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】

 そのおかげで、より自然なアニメーションかつ、プレイヤーのボタン操作のタイミングによってモーションが変わっても違和感のない動作が実現できたそうだ。なお、慣性補間は海外のゲーム開発者向けカンファレンスGDC 2018にて、『ギアーズ オブ ウォー』シリーズに関するカンファレンスで発表されたものとのこと。

『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
カンファレンスではクラウドが剣を振るうコンボ攻撃の動作を、通常、遅め、早めといった速さに分けて動画で公開された。どのモーションも、ばっちり自然な流れで剣を動かしている。

 攻撃の場合は方法が決まっていて、簡潔に言えばクラウドが剣を振るうモーションAから、追撃を放つモーションBに移行するだけなので、そのあいだのモーションを補間するのはさほど難しくないのだろう。だが、移動などの場合は、歩く、走る、止まるなど、プレイヤーの操作に応じてさまざまなモーションが必要になる。

 そのために、モーションAからモーションB、C、Dなどと複数の候補がある場合は、その直前のポーズと比較し、それに一致するアニメーションを自動選出する“ポーズマッチング”という技術を慣性補間と併せて使用しているそうだ。

『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】

 原氏の解説ではさらに、走るモーション、顔の向き、斜面でのバランス補正など、より細かなモーション技術が紹介された。

『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】

 足のモーションは、ほかのゲームと同じく地面の凹凸を感知して、自動で足先の位置を変更するというもの。さらに本作では足先に位置だけを固定し、腰の高さを変えられるようにしているという。これによりガードモーションでは腰を落としながらも、自然な歩行を再現。

 また、すり足移動にならないように、必ず地面から足が離れるような技術も使われているそうだ。これはCEDEC 2016での『バイオハザード7 レジデント イービル』に関するカンファレンスで解説されているとのこと。

『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】

 敵のやられモーションなどには、スクウェア・エニックスが開発しているシステムを採用しているという。単純に物理演算で敵が吹っ飛ぶのではなく、たとえば剣が手に当たったら手を抑えながら倒れるなどの動きを、その場で生成して再生しているそうだ。

『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】

 また、キャラクターの骨(ボーン)には次世代的な技術を採用しており、骨が歪めば、当然キャラクターたちの肉体も歪んでしまう。採用している技術を使えば、より正しい骨格で3Dキャラクターが自動形成されるかつ、自動生成されたモーションにもしっかりと馴染むそうだ。

『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
適用前のクラウドの右腕は、やや歪んでしまっているのが分かる。
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『ファイナルファンタジーXV』で培われた技術も使われているそうだ。

セリフを参照し表情を自動生成!

 ここまでは原氏の説明の通り、既存の技術をいくつも掛け合わせて形成されたもの。ただしキャラクターの顔の動き・フェイシャルモーションについては、新たな取り組みをしているそうだ。

 本作ではキャラクターの目が止まることはないそうで、人間のように上下左右に揺れ動く眼球運動をくり返すようにしているという。また、たとえば誰かと会話するときは、人間の心理と同じように、どこかに無意識に視線を逸らすという動きを採用。これはランダムに発生させているそうだ。

『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】

 まばたきは基本的にはランダムに発生。急に視線の位置が変わったときや、顔の向きが変わったときにも発生するとのこと。また、まぶたはつねに完全に閉じるわけではなく、ほんの少し目が開く程度になったりと、モーションブレンド技術とランダム要素で、さまざまなまばたきが発生するとのこと。これらはすべて、身体の動きや顔の向きから自動生成しているという。

『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】

 さらに本カンファレンスの大きな注目点と言えるのが、“HappySadFace”という自動リップシンク生成システム(キャラクターボイスのセリフに合わせて、その言語を発しているかのように唇が動くのがリップシンク)。
 このリップシンクは、音声データとテキストを参照しデータを出力して、リップシンクアニメーションを再生するというもの。本作では日本語、英語、フランス語、ドイツ語に合わせて、同じセリフでもまったく異なるリップシンクで言語を発するクラウドの動画が公開されていた。

『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
日本語音声のリップシンク
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
英語音声のリップシンク。英語特有の下唇を噛むかのようなモーションに見える。
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】

 これにより手作業でリップシンクモーションを作らなくても、言語に合わせて大量のセリフのリップシンクを用意することができたようだ。ただし“HappySadFace”は課題点として、参照するテキストデータがそもそも間違っていたり、声優陣のアドリブ演技が混じったりすると、対応が難しいそうだ。また、自動生成したリップシンクがボイスに合っていないというエラーは、単純に目視で発見するしか現状方法がないとのこと。

『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】

 そのほかにも、ボイスの音量から眉毛のアニメーションまで自動生成しているほか、“ST Emotion”という技術を使い、声優陣の声から、感情のパラメータを推定し、感情の表情を自動でブレンドしているという。このおかげで、単にセリフを発するだけでも、どのシーンでも人間性あふれる表情でキャラクターたちの会話が表現されるように。

『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】

 これまで表情の指定などは、プランナーが手動で入力していたとのことで、シーンも膨大なので、指定をせずに会話を進めるというシーンも多かったようだ。以上の技術をすべて合体させることで、カットシーンなどを除き自動生成で賄い、アクションでも何気ない会話シーンでも、表情豊かな会話が味わえるようになったということ。

『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】
適用前の表情よりも、より人間らしい表情に

 この“ST Emotion”はゲーム分野で活用したのは、『FFVII リメイク』が初とのことだが、これまでにもさまざまな分野で活用されているそうで、信頼性は高いと岩澤氏は語る。今後もいろいろなゲームで活用される日も近いかもしれない。

 ただ問題点として、たとえばバレットは口調的に怒ったような声が多いので、怒りの感情として判断されやすいほか、子どもの声は甲高いので、喜びの感情として判断されることも多かったようだ。

『FFVII リメイク』はセリフや音声から、クラウドたちの表情を自動生成。より豪華でリアルなキャラクターモーションを大量に制作する自動生成の手法【CEDEC 2020】

 以上で、本カンファレンスは終了となった。『FFVII リメイク』を再度遊んだ際には、何気ないモーションや、カットシーン外での会話シーンなどの表情に注目してみれば、新たな視点でゲームを楽しめそうだ。

※画像はオンラインでの講演をキャプチャーしたものです。