2022年8月23日～25日の期間に開催された、日本最大のコンピュータエンターテインメント開発者向けカンファレンス“CEDEC 2022”。本稿では、8月23日に実施されたセッション“AIキャラクターが絵を描く：新たなAIキャラクターの感情表現”の模様をお届け。
本セッションでは、スクウェア・エニックスAI部 機械学習エンジニアのエドガー・ハンディ氏が登壇。機械学習を用いた新たなAIキャラクターの感情表現の方法について紹介された。
氏が所属するスクウェア・エニックスのAI部は、2022年1月に設立。同部では、おもにAIの研究に注力しているが、その中で機械学習や、ゲーム開発のワークフローを円滑にするための技術、ゲームコンテンツをより豊かなものにするための技術の研究も行われている。
機械学習を応用して絵による感情表現を実現
セッションで最初に紹介されたのは、スクウェア・エニックスのAI部に所属するAIキャラクター・ピノ。彼には感情や気分といった要素が備わっており、ゲーム内のオブジェクトに触れることで感じた感情や気分を行動に反映する。さらにピノは、自身が感じた感情や気分を、絵画として表現することもできる。
これらの感情表現には、さまざまなデータを収集することで、新たなデータを与えられた際にもっとも期待されるデータを出力できるように学習するシステム“機械学習”が取り入れられている。
一般的なAIキャラクターの感情は、表情、ボディジェスチャー、発音の3つで表現される。スクウェア・エニックスのAI部では、AIキャラクターにより豊かな自己表現を実行させるために、会話、作曲、絵画による表現についても研究されている。その中で、今回は絵画による感情表現について解説された。
人は絵を描くことで、自身の世界に対する解釈や感情を伝えている。この要素をAIに適用し、感情表現として実行させるために“エモーショナルコンポーネント”と呼ばれるシステムが実装。これは、AIキャラクターの性格を、感情と気分によって表現するもの。先ほどのピノにも備わっていたシステムだ。
ピノに実装された感情モデルは、以下の画像のとおり。赤で囲まれているのが、ピノに実装されている感情だ。
気分モデルについては、Pleasure（快）とDominance（支配）の2軸で表現。そこからさらに、依存的、活力的、落胆的、敵対的の4つのエリアに分割。これらの要素の割合によって、さらに細かな気分が示される。
感情モデルと気分モデルによって構成されるのが、“エモーショナルコンポーネント”。この“エモーショナルコンポーネント”を気分値として示し、絵画に変換して映し出すことで、絵画による感情表現が可能となる。
ここで重要となるのが、“スタイルトランスファー”。このシステムは、入力したベース画像に対して、スタイル画像を指定してニューラルネットワークで処理し、指定のスタイルでアレンジされた画像を獲得するものとなっている。このとき、複数のスタイル画像をブレンドして適応したり、特定のオブジェクトをマスクして加工したりすることで、画像加工の幅を広げている。
これらの処理を行うための基本アーキテクチャー（構造）は、以下の図のとおり。downsample、、upsampleの3つの工程からなり、この際にスタイル画像を指定することで、“スタイルトランスファー”が可能となる。
これらの処理は、Unreal Engine 4で実装されている。AIが見ているものをカメラで撮影し、そこから物体を抽出し、マスク処理を施す。このとき、“エモーショナルコンポーネント”をもとにスタイル画像をブレンドしてテクスチャーに変換することで、絵画として映し出すことが可能となる。
ここまで説明された後、最後に本セッションについてまとめられたところで終了となった。
