強化学習の可能性を広げたDeepNashとは

パロアルトインサイトの嶋崎です。2016年にDeepMind社が発表した「アルファ碁」は、囲碁で世界トップレベルのプロ棋士に勝ち、話題を集めました。

2022年6月、同社の研究者が新たなAI「DeepNash」を発表しました。これまで人のトッププレーヤーにAIがまったく及ばなかったゲーム「ストラテゴ」で、驚異的なレベルアップを実現したのです。その背景には、強化学習を使った、従来とはまったく異なるアプローチがあります。

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。今回取り上げるのは、DeepMindの研究者が発表した最新AI「DeepNash」です。

論文データ：
今回のディスカッション対象の論文をご紹介します。

まずはDeepNashの成果の何がすごいのかを解説します。

DeepNashは「ストラテゴ（Stratego）」というボードゲームで、人のトッププレーヤーに匹敵する強さを手に入れました。下図は木製のストラテゴです。

（画像引用：https://theawesomer.com/wood-stratego-set/508346/）

ボードゲームでのAIと人の競争といえば、将棋や囲碁が大きな話題になったので、ご記憶の方も多いかと思います。DeepMind社が開発した「アルファ碁」が、世界トップレベルの棋士に勝ったのが2016年でした。さらに2018年に発表された「アルファゼロ」は、チェス・将棋・囲碁のすべてで、人のトッププレーヤーを上回る強さを手に入れたのです。

2022年現在、ほとんどのボードゲームにおいて、AIが人を圧倒しています。そんな中で、数少ない「AIが人のトッププレーヤーに勝てないボードゲーム」のひとつが、ストラテゴだったのです。

なおアルファ碁については、過去記事「AIが囲碁で人間に勝つ。その事実のどこが凄いのか」で解説しました。ぜひあわせてお読みください。

DeepNashの強さを数字でまとめると、以下の通りです。

他のAIでは、人のトッププレーヤーに遠く及びません。そんな中で、DeepNashだけが驚異的な強さを手に入れたことから、注目を集めているのです。

DeepNashについて理解するための前提知識として、ストラテゴがどんなゲームなのかを紹介します。

ストラテゴは端的に言えば「西洋版の軍人将棋」です。とはいえ、そもそも軍人将棋を知らないという方も多いでしょうから、順に説明してきます。

下図は論文中に掲載された、ストラテゴを説明するための図です。

（画像引用：https://arxiv.org/pdf/2206.15378.pdf）

ストラテゴは2人用のゲームで、以下の特徴があります。

ゲームは以下の流れで進められます。

駒の数と種類が多く、盤面も広いためありえる局面のパターンが非常に多いのが、ストラテゴの特徴です。

ありえる局面のパターンは、碁が「10の360乗」なのに対し、ストラテゴは「10の535乗」です。ストラテゴにおいては、あまりにも多いため、囲碁のように「先を読む」方法では、最適な指し手を決めることは困難です。

そのため、ストラテゴをうまくプレーするAIを開発するには、囲碁とは違ったモデルが必要となります。

ストラテゴでは、すべての情報がプレーヤーに公開されるわけではありません。相手の駒の種類や強さは、攻撃が行われるまでわからないのです。このように不明な情報があるゲームを「不完全情報ゲーム」と呼びます。

不完全情報ゲームでは、すべての情報が公開されている碁や将棋、チェスなどの「完全情報ゲーム」と比べ、最善の戦略が明確ではありません。このことが、強いAIを開発するうえで大きな壁となってきました。

ストラテゴではたとえば、「相手の駒の種類を知るために、あえて自分の駒を犠牲にする」といった戦い方がありえます。完全情報ゲームと比較すると、より高度な判断が必要となるのです。

DeepNashは他のAIとの対戦で、圧倒的な勝率を示しました。

以下の表は、有名な8つのAIと対戦した結果です。