　2024年8月21日（水）から23日（金）にかけて開催されている、日本最大のコンピュータエンターテインメント開発者向けカンファレンス

“CEDEC2024（Computer Entertainment Developers Conference 2024）”

。その初日に実施されたセッション、“『学園アイドルマスター』における適応的ゲームAIとグレーボックス最適化を用いたバランス調整支援システムの実現”の内容をお伝えする。

　講演者は株式会社サイバーエージェント所属のリサーチエンジニア・伊原滉也氏と、株式会社 QualiArts所属、

『学園アイドルマスター』（以下、学マス）

リードサーバーサイドエンジニア・那須勇弥氏のおふたり。

『学マス』ひとつのライブを制作するのに半年以上。アイドルたちの“らしさ”から振り付けを考え、汗の表現は5種類を使い分け。UnityのTimelineで実現する妥協なき精神【CEDEC2024】

CEDEC2024にて行われた、“UnityのTimelineを活用したライブ制作のこだわり～「学園アイドルマスター」（学マス）制作事例～”の内容をまとめてお届け。ライブ演出に込められたこだわりと技術的な解説が行われている。

『学マス』アイドル衣装は“戦闘服への変身姿に似た特別感や迫力”。みずみずしさをコンセプトにモバイル3D美少女の最高クオリティーを目指したキャラクター・背景制作【CEDEC2024】

2024年8月21日（水）から23日（金）にかけて開催中の、“CEDEC2024”。21日に行われたセッション“神は細部に宿る！「学園アイドルマスター」のこだわり抜いた3Dキャラクター・背景制作”の模様をリポート。

のカードゲームパートにおけるバランス調整の支援についてAIを活用して実現した方法と、変化が激しい最新のゲーム環境にも適応できる“デッキ探索AI”の開発手法が解説された。

『学園アイドルマスター』関連商品を検索(Amazon)

『学園アイドルマスター』関連商品を検索(楽天)

膨大なパターンと追加要素への対応を目指したAI開発

　まずはプロジェクトの全体概要について。

は2024年5月16日にリリースされた、プロデュースをくり返すことでアイドルの歌やダンスが変化する育成シミュレーションゲームだ。本作でいう“プロデュース”とは、レッスンや試験と呼ばれるターン制カードゲームをこなし、目標を達成していくものとなっている。

本講演では、カードゲームパートであるレッスンのバランス調整を支援する仕組みに焦点を当てている。

レッスンのバランス調整では、おもにレッスン中に使用する個々のカードやアイテムの性能の調整を行う。このバランス調整には、大きくふたつの課題が生じた。

課題のひとつは、膨大な組み合わせのシチュエーションが存在すること。カードゲームはどんなに強いカードでもデッキの内容、手札の回りかた、プレイングによって発揮できる性能が左右される。たとえば、本作ではリリース時点のカードプールでもカードデッキの構築パターン数は10の20乗以上になった。 　また、ひとつのデッキによるレッスンのプレイパターンも、10の20乗から40乗以上の組み合わせが存在した。バランスブレイカーとなるカードやアイテムがあったとしても、この中から人力で見つけるのはあまりに困難。そこで開発陣は、“デッキ探索AI”と“レッスンAI”のふたつのAIを開発した。

デッキ探索AIは、“グレーボックス最適化”（詳細は後述）を用いて膨大な組み合わせの中から強いデッキを探すAIだ。もうひとつのレッスンAIは、深層強化学習によって自動で人間と同じようなプレイを行うAIとなっている。これらを連携させて、より高得点を出せるカードやデッキを効率的に探索できるようにしたという。ただ、これらを現実的に運用するには大きな課題があった。 　その課題とは、比較的短い期間で新カードが追加されること。本作ではカードゲームに影響を与えるスキルカードやP（プロデュース）アイテムが、月に数回追加される。この運用スパンに対して、実用的な強さを発揮するレッスンAIの学習には、少なくとも10日以上の時間が必要となった。

バランス調整の過程では、シミュレーションの実行結果を見て性能の調整を行い、再度シミュレーションを実行する必要があり、学習時間の長さからバランス調整のイテレーションを回しづらい状態だったとのこと。この課題に対しては、“転移学習”を用いたアプローチで学習時間の短縮を行ったという。 　具体的には、すべてのスキルカードやPアイテムの学習を行ったスクラッチ学習モデルをベースに、マスターデータの追加差分を転移学習で効率的に学習。都度スクラッチ学習をくり返すよりも高速に学習を完了できるようになり、学習にかかる時間を10時間程度まで短縮できた。これらのアプローチにより、プランナー完結で実行可能なバランス調整支援システムが実現するにいたったという。

バランス調整システムの構成と課題の解決

講演では引き続き詳細の解説に入るにあたり、まずはバランス調整支援システムについて紹介された。

調整支援システムはQualiArtsの『学マス』開発チームと、サイバーエージェントのゲーム事業部AI戦略本部が連携して開発した。

バランス調整支援システムのワークフローは、まず新しいスキルカードやPアイテムの効果を設計し、マスターデータを追加するところからスタート。つぎにレッスンAIの学習を行うが、ここではベースとなるモデルが存在しない場合、初回のみスクラッチ学習を行ない、モデルが存在する場合はベースモデルを選択して転移学習を実行する。 　さらに学習終了後、性能検証したいスキルカードやPアイテムを中心にデッキ探索を実行し、レッスンAIにカードゲームをプレイさせてシミュレーションを行う。そのシミュレーションログをGoogle CloudのBigQueryに蓄積し、スプレッドシートと連携させてデータの可視化を行い、結果を確認する。

結果に問題がある場合は再度効果パラメーター調整に戻り、問題がなければデバッグ検証してリリース作業に移行する。

講演では、以降ワークフロー内の各詳細について解説された。

この機能では深層強化学習によって学習したモデルの管理や、学習を実行する機能を提供。これらはレッスンのプレイスタイルが大きく変わる、“センス”と“ロジック”と呼ばれるプラン別に学習していく。 　管理コンソールではメタデータのみを管理し、モデルの実体はMLワークフローに特化した、W＆B（Weights＆Biases）プラットフォームに保持。学習の開始もこの画面から行い、たとえば転移学習を実行する際はベースにするモデルを選択し、学習を実行する。

エンジニアでなくとも扱いやすい作りを意識し、機械学習特有のハイパーパラメーターは一切入力しなくても実行できる構成になっている。

本作のレッスンのコアとなるカードゲームロジックは、Unityリポジトリで開発されている。このコアロジックは“.NETランタイム”でも動かせるように、Unityに依存しないC#言語のみで実装されており、独立した.NETアプリケーション用のリポジトリに同期して処理を呼び出せる。

AIに関する処理はpythonで実装されており、pythonのレッスンAIプレイヤーと.NETアプリケーションがソケット通信で連携し、AIによるレッスンプレイを実行する。

ただ、ここまで解説された機能だけでは、管理コンソールから確認できるモデルの情報が少なく、扱いやすい状態とは言えなかった。 　まず、モデルが何を学習したのかわかりづらい。この機能では、学習実行時のマスターデータ情報から学習させたスキルカードやPアイテムの状態を正確に把握するのに手間がかかる。この課題に対して、学習済みのモデル一覧画面や学習実行前にベースにしたモデルと学習内容の差分を視覚的にわかりやすく表示する機能を実装した。 　本作のスキルカードやPアイテムのマスターデータは数十個のテーブルから構成されており、効果内容に関係のない情報も多く含まれるため、そのまま比較するのは現実的ではない。そこで注目したのは“効果説明文”だ。本作のすべての効果説明文は、関連するマスターデータの設定から自動生成される仕組みになっている。つまり、効果内容に関する調整を行うと確実に効果説明文にも差分が現れるようになっており、単一の文字列化することができるため、規格処理を容易に実装することができた。

扱いにくいポイントのふたつめは、モデルの強さがわかりづらい点。バランス調整のフローでモデルがうまくレッスンをプレイできない状態になっていた場合、デッキ探索のシミュレーション結果を信用することができなくなってしまう。この課題に対しては、モデルの強さを評価して可視化する機能を実装して解決したという。 　この機能では転移学習モデルによるレッスンプレイと、モンテカルロ木探索（※）によるレッスンプレイのスコアを比較し、可視化する。モンテカルロ木探索はレッスンプレイに時間がかかる代わりに学習を必要とせず、比較的精度の高いスコアを出せる手法として採用したとのこと。

※モンテカルロ木探索：ランダム性を用いることで途中不要な探索をやめ、ある程度の高確率でいい手を導くという探索アルゴリズム。囲碁やチェスのつぎの手の決定や、相手の手の内がすべててわかるわけではない対戦ゲームなどに用いられる。

学習完了後にモンテカルロ木探索と同じデッキや乱数を使って転移学習モデルでレッスンプレイ。スコアを比較してモデルの強さを確認できる。

デッキ探索とシミュレーションの結果確認

本作開発におけるデッキ探索実行機能では、学習済みのスクラッチ学習モデル、または転移学習モデルを選択し、デッキ探索を実行する。こちらは学習機能と同様に、.NETとpythonのアプリケーションを連携で処理していく。 　デッキ探索機能のインフラは、Google CloudのCloud RunとBatchを中心としたサーバーレスアーキテクチャで構成。管理コンソールはCloud Runで稼働しており、デッキ探索処理は、.NETとpythonパイソンのランタイムを搭載した単一のマルチプロセスコンテナをBatchに配置して動かしている。

サーバーレスアーキテクチャーで構成したことで、複数のデッキ探索シミュレーションが並列実行可能になり、柔軟にスケールし効率的なシミュレーションを実行できるようになった。

シミュレーション結果の確認には、Googleスプレッドシートを利用している。BigQueryに蓄積したログは、スプレッドシートのデータコネクターを使って同期しており、プランナーが扱い慣れているスプレッドシート上でデータを任意に加工し、分析することができる。

BigQueryには探索したデッキの情報やAIの行動がすべて蓄積。このログを集約することで、デッキのランキングやカードの使用率などの指標を確認できる。

上記のバランス調整支援システムを導入した効果についても、具体的に紹介された。このシステムはサービス開始前から運用されており、サービス開始の時点で1億パターン以上のデッキのシミュレーションを実施していたという。レッスンプレイ回数の合計は10億回以上になり、これは人間が1回1分でプレイした場合、1900年かかる計算になるという。 　シミュレーションをくり返す中で、たとえば上位にランクインするデッキが特定のスキルカードだらけになるパターンや、特定のスキルカードの組み合わせで擬似的に無限ループを発生させられてしまうパターンが検出されており、実際にシミュレーション結果を見たあとに効果調整が行なわれた。また、約200件のバグの検出にも役立ったという。

ふたつのAIに求められた特化仕様の要件

講演では引き続き、レッスンAIとデッキ探索AIの技術的詳細について解説された。

まず大前提として、本作のレッスンとはプロデュース中に現れるターン制のひとりプレイカードゲームであり、スキルカードを使用してアイドルのパラメーターを上昇させ、決められたターン数以内にレッスン目標を達成することでクリアーとなる。プレイヤーには手札や山札のカードの効果を考えながら、どのカードを選択するか適切なプレイが求められる。 　本作のレッスンAIは、デッキ探索においてデッキを評価し、期待スコアを計算するのに使用。したがって、探索の過程であらゆるレッスン設定、デッキ設定でうまくプレイできるかを検証する。また、探索システムではくり返し膨大な数のレッスンをプレイする必要があり、一回あたりのプレイ時間をできるだけ短く抑える目標があった。これらを踏まえて、レッスンAIには以下の三点の要件を設定したという。

あらゆる状況で任意のカードがプレイ可能

まずレッスンAIは、マルコフ決定過程（MDP）としてモデル化が可能であるといえる。MDPはつぎの状態を、現在の状態と行動から確率的に決めるモデルだ。本作のレッスンはゲーム盤面を現在の状態として、カード選択を行動として考えることで、カード選択によりつぎのターンの状態が決定するというMDPになっている。

レッスンのすべての要素はMDPにおける状態と行動に、このように割り振って定義できる。

MDP上の展開型ゲームで有効な探索方法が、モンテカルロ木探索だ。この探索方法は、より厳密な最適行動を近似可能な手法であるが、レッスンやデッキ探索ひとつひとつに探索が必要であり、膨大な時間を要するという問題が出てくる。

実験の結果、4ターンのプレイでも約5分かかったという。これでは時間がかかりすぎる。

レッスンのプレイ時間が0.1秒以下

プレイ時間の短縮のために、本作のAIでは深層強化学習により、レッスン・デッキ設定に汎化して最適なプレイを近似するシステムを構築した。さまざまな状況を試行錯誤によって学習させることで、あらゆる状況のプレイに適用可能になったわけだ。ただ、副次的な問題として経験が必要な問題設定が多く、学習に時間がかかるというところは課題となっている。

深層強化学習を導入したPPO（Proximal Policy Optimization）アルゴリズムにより、結果としてモンテカルロ木探索と比べ、短い実行時間と優れたプレイ性能の両立が実現した。

2024年8月21日から23日にかけて開催している“CEDEC2024”初日より、“『学園アイドルマスター』における適応的ゲームAIとグレーボックス最適化を用いたバランス調整支援システムの実現”のセッションの内容をお届けする。

『学マス』AIによってリリース前にレッスンを10億回、人力なら1900年分の検証を実現。バランスブレイカーを効率的に見つけ出すAI学習とデッキ探索【CEDEC2024】

『劇場版「鬼滅の刃」無限城編』の公開日が3月1日の19時に発表される。発表日当日は隊士結集会としてキャスト出演の特別番組やイベントを実施。

『劇場版「鬼滅の刃」無限城編』公開日が3月1日の19時に発表。発表日当日は隊士結集会として題して特別番組やイベントを実施

『TRPG ARMORED CORE VI FIRES OF RUBICON』体験リポート。使うのはペンとサイコロ。描画されるのは紙の上。でも遊び心地はたしかに『アーマード・コア6』で、ファンが深く頷けるほどの原作らしさが詰まっていた。

【AC6】『TRPG アーマード・コア6』は操作難度が低いからアクションが苦手でも大丈夫！ 300以上のほぼ全パーツで愛機を組む喜びと緊張感の共演【体験リポート】

アニメ『葬送のフリーレン』よりフリーレンが着用するコートが商品化。普段使いにぴったりなダブルブレストコートにアレンジされている。価格は19800円［税込］。

『葬送のフリーレン』フリーレンのコートが商品化、本日（2/18）予約スタート。高級感ある仕上がりで、防風性・保温性もバッチリ

『ONE PIECE 海賊無双4』にて新規参戦キャラクターを決めるアンケートが2025年2月12日（水）から2月28日（金）の間実施される。エネル、ビビ&カルー、カク、ゼファーなど23体のキャラクターを対象に3キャラクター選択可能。

『ONE PIECE 海賊無双4』新規参戦キャラクターを決めるアンケートを開始。エネル、ビビ&カルー、カクなど23体のキャラクターが対象に

ポイントプログラム“マイニンテンドーゴールドポイント”の付与が2025年3月25日13時30分をもって終了すると発表された。

【任天堂】“マイニンテンドーゴールドポイント”の付与が3月25日13時30分に終了。Nintendo TOKYO／OSAKA／KYOTOでは3月24日まで

TVアニメ『MFゴースト 3rd Season』の放送が2026年に決定。さらに、しげの秀一氏による漫画『MFゴースト』の7年半にわたる連載がついに完結。お祝いイラストや記念映像、アニメ制作スタッフ・キャスト・オープニング＆エンディングアーティストからのお祝いコメントが到着。

『MFゴースト』アニメ3期が2026年放送決定＆原作漫画の完結を祝した記念イラストや映像が公開。原作のDNAはアニメへと引き継がれる

『とある科学の超電磁砲（レールガン）』第4期と、『とある暗部の少女共棲（アイテム）』のテレビアニメ化が決定した。『超電磁砲』は第1期～第3期と同様、長井龍雪氏が監督を務める。

『とある科学の超電磁砲』第4期が制作決定。御坂美琴たちの活躍がまた観られる！ 麦野沈利たちが暗躍する『少女共棲』もアニメ化へ

『餓狼伝説 City of the Wolves』シーズンパス1のDLCキャラクターとして『スト6』ケン、春麗に加え、アンディ・ボガード、ジョー・東、Mr.ビッグが登場。また、カイン・R・ハインラインの参戦も決定した。

『餓狼伝説CotW』に『スト6』ケン＆春麗がコラボ参戦。シーズンパス1のDLCキャラとして、アンディ・ボガード、ジョー・東、Mr.ビッグとともに収録

『HUNTER×HUNTER NEN×IMPACT』の発売日が2025年7月17日に決定。追加DLCキャラクター第1弾としてネフェルピトーが2025年秋に参戦することも発表された。

格ゲー『ハンター×ハンター ネンインパクト』が7月17日に発売決定。“ネフェルピトー”がDLC第1弾キャラとして参戦

恋愛シミュレーションゲーム『アマガミ』のASMRボイスドラマ2ndシーズン第1弾“棚町薫編”が、ボイスドラマ配信アプリ“mimicle（ミミクル）”で本日2025年2月17日より配信開始された。

『アマガミASMR』2ndシーズン第1弾が本日（2/17）発売。棚町薫と過ごす大胆で挑発的な非日常の耳かきシチュにドギマギ

2025年2月8日時点、プレイステーションネットワークに障害発生。対象のプラットフォームにてサインインや関連サービスが利用できない状態になっている。

【PSN障害】プレイステーションネットワークに障害発生中。サインイン、関連サービスが利用できない状況に

バンダイナムコエンターテインメントは、Nintendo Switch、PC（Steam）用ソフト『機動戦士ガンダムSEED BATTLE DESTINY REMASTERED』を2025年5月22日に発売すると発表した。2012年に発売された『機動戦士ガンダムSEED BATTLE DESTINY』のリマスター作品で、グラフィックの向上に加え、一部システムや操作性の改修が施されている。

『ガンダムSEEDバトルデスティニー』リマスター版、5月22日発売決定。100機体以上登場、進化したグラフィックでC.E.の戦場を追体験

本記事では、『SDガンダム ジージェネレーション エターナル』（『Gジェネエターナル』）のネットワークテスト先行体験内容をお届けします。

【Gジェネ エターナル】『SDガンダム ジージェネレーション エターナル』先行レビュー。プロトタイプケンプファー登場！ 知る人ぞ知る名機に期待が高まる。ネットワークテストからわかったことをお届け

スクウェア・エニックス・ホールディングスは、2025年3月期第3四半期の連結決算を発表。HD-2D版『ドラゴンクエストIII　そして伝説へ…』が当初の想定を上回った販売数になったが、アプリ・PCブラウザ等をプラットフォームとしたゲームや、『薬屋のひとりごと』の反動減から営業利益4.4％減の333億円と減益という結果になった。

スクエニ、2025年第3四半期決算を発表。営業利益は4.4％減。『ドラクエ3リメイク』は当初の想定を上回る販売数に、スマホ・PCブラウザゲームは弱含み

2025年2月13日の発表と同時に、コーエーテクモゲームスより発売されたローグライトアクション『無双アビス』について、平田プロデューサーにインタビュー！

『無双アビス』インタビュー。『真・三國無双7』＆『戦国無双4』の武将たちが、ローグライトに“無双”する！ アップデートで他タイトルからのゲスト参戦も……？

オープンワールドRPG『キングダムカム・デリバランス II』が全世界セールス200万本突破。

オープンワールドRPG『キングダムカム・デリバランス II』が全世界セールス200万本突破。発売から2週間弱で達成

DON'T NODは『Lost Records: Bloom & Rage』のSteam版の販売を2025年2月18日に開始した。

『Lost Records: Bloom & Rage』女子高生たちが27年前に封印した秘密とは？『Life is Strange』のクリエイターが手掛ける新作アドベンチャーゲームが配信開始

2025年2月13日の発表と同時に、コーエーテクモゲームスより発売されたローグライトアクション『無双アビス』をレビュー！

『無双アビス』レビュー。無双アクション×ローグライト。100人の武将たちを仲間にしながら進むビルド構築は、爽快感と麻雀のような楽しさが味わえる！

コーエーテクモゲームスの新作タイトル『無双アビス』が発表。『真・三國無双』と『戦国無双』のキャラクターたちが登場するローグライトアクションゲームで、本日（2025年2月13日）より配信が開始された。

『無双アビス』が発表。無双シリーズのキャラクターが登場するローグライトアクションゲーム。本日より配信開始【State of Play】

『鬼武者 Way of the sword』の主人公が宮本武蔵であることが判明、フェイスモデルにはあの名優・三船敏郎氏を起用。2026年に全世界で発売予定の『鬼武者』シリーズ20年ぶりとなる完全新作。