AIエージェント開発の可能性を秘めた動画生成モデル「Genie」

近年、生成AI（人工知能が新しいデータを生成する技術）の進歩は目覚ましく、デジタルコンテンツとのやり取りが変わりつつあります。2024年は更なる生成AIの進化が期待されていますが、早速大きな影響を与えるであろうモデルが発表されました。それが、Google DeepMindが開発した「Genie : Generative Interactive Environments」です。

これは、生成AIの力を活用して無限のバリエーションのプレイ可能な（ユーザーが操作可能な）仮想世界を作り出す革新的なモデルです。Genieチームは、合成画像、現実世界の写真、さらには簡単なスケッチから派生した仮想環境を生成し、操作できる全く新しい生成AIモデルを紹介します。

今週のテーマ：生成AI

論文データ：

今回のディスカッション対象の論文をご紹介します。

タイトル：Genie: Generative Interactive Environments

著者：Jake Bruce*, Michael Dennis*, Ashley Edwards*, Jack Parker-Holder*, Yuge (Jimmy) Shi*, Edward Hughes, Matthew Lai, Aditi Mavalankar, Richie Steigerwald, Chris Apps, Yusuf Aytar, Sarah Bechtle, Feryal Behbahani, Stephanie Chan, Nicolas Heess, Lucy Gonzalez, Simon Osindero, Sherjil Ozair, Scott Reed, Jingwei Zhang, Konrad Zolna, Jeff Clune, Nando de Freitas, Satinder Singh, Tim Rocktäschel*

掲載サイト：https://arxiv.org/abs/2402.15391

目次

プレイ可能な世界のための基盤モデル

行動ラベルなしでの制御学習

新世代クリエイターの可能性

AIエージェント開発のための足がかり

まとめ

プレイ可能な世界のための基盤モデル

Genieはインターネット上のビデオデータを学習し、テキスト、合成画像、写真、スケッチからインタラクティブで操作可能な仮想環境を生成できる新しい形の生成AIです。このモデルは、ビデオトークナイザー、自己回帰ダイナミクスモデル、そしてシンプルでスケーラブルな潜在アクションモデルから構成されています。

Genieの核心は、ビデオから潜在的なアクションを学習し、それらを使用してフレームごとに次のフレームを予測することにあります。これにより、ユーザーは事前に定義されたアクションラベルやデータを必要とせず、生成された環境内でキャラクターをコマンドで動かすことが可能になります。

（引用：https://sites.google.com/view/genie-2024/）

Genieの能力は、2Dゲームからロボティクスに至るまでの幅広い動画データセットでのトレーニングが元となり、ラベリングなど直接的な人間の介入なしにインタラクティブな操作を可能にします。

またGenie技術は、多様なアプリケーションに適用可能で、特に一般的なAIエージェントの訓練や、ユーザーが自分だけの仮想世界を作成し探索できる新しい形のクリエイティブツールとしての可能性を秘めています。

行動ラベルなしでの制御学習

　PAIoneerPRO会員に登録 ▷　
PAIoneer PRO
詳細はこちら

　会員の方はログイン▷