3DCG女子高生“Saya”――2015年10月にTwitterで公開され、「実写にしか見えない」と爆発的に話題に。昨年には講談社主催のコンテスト“ミスiD2018”でセミファイナリストに選出され、“人間ではない女の子”として世界に存在感を示してきた。
現在はAI技術を取り入れ、インタラクティブなコミュニケーションが可能なSayaへと進化しつつある彼女。プロフィールに書かれた将来の夢「人間同士みたいに、みんなと喋ったり友達になること」を叶えるためのステップを着実に歩んでいる最中だ。
2018年8月22日～24日の3日間、パシフィコ横浜にて開催されたゲーム開発者向けカンファレンスCEDEC2018。その3日目に行われたセッションでは、彼女の生みの親をはじめとするプロジェクトメンバーからSayaの現状と今後への想いが語られた。
ミスiD 2018 saya 050-2 /132
進化し続ける3DCG女子高生は、感情を覚えた
はじめに登壇したのは、Sayaを生み出したCGアーティストの石川晃之氏・友香氏ご夫妻（Telyuka）。進行中の新プロジェクトの概要が紹介された。
プロジェクトの目標として掲げたのは、 Sayaが最新テクノロジーとの融合で成長し、社会における彼女だけの役割を見つけていくことだという。
具体的に目指したひとつが、 目の前にいる誰かとコミュニケーションを取れるSaya。実写と見まごうクオリティのCGと、AIによるインタラクティブを両立させる。未来に向けた大きな挑戦といえるだろう。
2018年3月、アメリカのテキサス州オースティンで開催されたテクノロジーイベントSouth By Southwest Trade Show（SXSW）にて“新しい Saya”は初お披露目された。
Emo-Talkと名付けられたそのシステムでは、モニターに映された等身大のSayaが、カメラが捉えた人物の表情をリアルタイムに認識し、喜んだり、悲しんだり、微笑んだり、困ったりといったリアクションを返してくれる。
こうしたリアクションは、モーションキャプチャを元に作られた30パターンほどの動画素材の組み合わせで表現されているという。
動画素材の製作にあたり、晃之氏が最初に着手したのはSayaの佇まいだ。4つのポーズ（不安/緊張/好感/リラックス）によって、相手との関係性や、Sayaが抱いている感情を大まかに示す。
そこから発展させて、より自然な動きを目指していったという。自然な動きのために注力したポイントとしては ・連続性を意識すること ・わざとらしさを省くこと と紹介。
前者の“連続性”とはどういうことかというと、Sayaのリアクションは30種類ほどのモーションの組み合わせによって再生されるのだが、そのつなぎ目に違和感が生じないように徹底して編集を加えたそうだ。とくに、髪の毛やスカートのふわっとした物理的な挙動が自然につながるように調整するのは想像以上に手間がかかったとのこと。
また、後者の“わざとらしさを省くこと”については、派手な動きやオーバーリアクションは意図的に避けたと説明。ただし、現実の人間らしさを追求した結果、感情の変化がひと目で伝わりにくいほどリアルになってしまったそうで、Sayaの感情を示すグラフもあわせて表示することに。
ここで講師は佐野和哉氏（フリーランスエンジニア）と田原將志氏（博報堂研究開発局）に交代。Sayaがコミュニケーション相手の表情を認識し、適切なリアクションを選択するメカニズムの話へと移っていった。
まずは、カメラが捉えた映像から人物の顔を検出。続いてシステムに組み込まれた感情認識 AIが、表情のポジティブ度合い（ネガティブ度合い）を数値化する。このポジティブ/ネガティブの数値がある一定の閾値を超えた時点でSayaの感情レベルも上下し、心を開いたり緊張したりといった変化が生じるという。
当初はhappyやsadといったより具体的な感情をAIに学習させていたのだが、人種や文化圏によって感情表現が異なるため、精度の関係でポジティブ/ネガティブの一次元的な評価になったそうだ。
加えて、SXSWなどでの展示を経ての展望にも触れられた。田原氏は、表情だけでなく細かい動作まで学習させ、“バイバイ”といった意味のあるジェスチャーにも反応を返せるようにできたらと語る。
佐野氏は、Sayaプロジェクトの発展に向けて少しずつ新たなモーションを実装しているとのことで、現在は感情レベルが最高値に達したときだけ見せてくれるスペシャルな反応などが追加されているそうだ。
セッションの最後には、ふたたび友香氏が登壇。 プロジェクトで大切にしている“3つの愛”について語った。
ひとつ目は、テクノロジーへの愛。友香氏の中にはSayaを生み出すことを可能にした最新技術への深い感謝があり、Sayaの進化が翻ってエンジニアや研究者の励みになればという気持ちで製作に望んでいるそうだ。
ふたつ目はSayaへの愛。国内外で“不気味の谷を超えた”という評価を受けたほどフォトリアルなSayaだが、その製作過程は泥臭いといって差し支えない。人間の美しさを観察して得られたエッセンスをひとつひとつ地道に再現。気に入らないところは何度でもしつこく修正を加えて、ここまでの実在感を獲得するに至ったという。
最後に「ものづくりへのパッションは才能や環境にかかわらず誰の中からも引き出せる」、「そのための原動力は愛」と前置きしたうえで、鑑賞者に愛を伝えたいという。自分たちが優れた作品から作者の愛を感じ取り、自分たちも愛をエネルギーに創作してきたように、鑑賞者に愛の大切さを伝えられたらと想いを語りセッションを締めくくった。
