Microsoft 社の画像生成AI「NUWA Infinity」にのみ備わった新たな技術を解説

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。今回取り上げるのは、Microsoftが開発した画像生成AI「NUWA-Infinity」です。

論文データ：

今回のディスカッション対象の論文をご紹介します。

NUWA-Infinityは、Microsoftが2021年に発表した「NUWA」の後継AIです。なおNUWAは「Neural visUal World creAtion」の略称です。

まずはNUWA-Infinityが、どんなことができるAIなのかを解説します。

NUWA-Infinityは、与えられた文章から画像を生成できます。

公式サイトでは、入力する文章を自分で変更しつつ、どんな画像が生成されるかを確認できるので、試してみるとよいでしょう。NUWA-Infinityが生成した画像を、各文章ごとに5パターンも見られます。

下図は「山に囲まれた海岸と青空」という文章から作り出された画像の例です。

（画像引用：https://nuwa-infinity.microsoft.com/）

いろいろな文章のパターンを試してみると、どの画像も文章の意味に合っており、本物の写真のように鮮明であることがわかります。

NUWA-Infinityは、与えたれた画像を枠外に拡張できます。まるで人が想像力を働かせるようにして、画像の外側にあるものを描き出すのです。

下図はクロード・モネの絵画「Garden at Sainte-Adresse」を入力として与えた際に、NUWA-Infinityが枠外の画像を生成して拡張したものです。

（画像引用：https://arxiv.org/pdf/2207.09814.pdf）

オリジナルの絵画にはなかった太陽などが描き足されていますが、全体として違和感はあまり感じないでしょう。あたかも最初からこのサイズの絵画であったかのように自然です。

NUWA-Infinityは、静止画だけでなく動画も生成できます。

画像を入力として与えると、その前後の時間に配置する画像を複数作り出します。そして、作り出した画像を時間に沿って並べて再生することで、動画を生成するのです。

下図では、与えられた画像を最初の状態として、NUWA-Infinityがその後の時間の画像を生成して動画にしています。

（画像引用：https://arxiv.org/pdf/2207.09814.pdf）

時間の経過にともなって雲が動き、日差しや影も自然に変化している様子が確認できます。

また、与えられた文章から画像を生成し、さらに生成した画像を入力として動画を作り出すことも可能です。

下図の例では、「ペッパピッグが両親と一緒に泥遊びをしている」という文章から、NUWA-Infinityが動画を生成しました。

（画像引用：https://arxiv.org/pdf/2207.09814.pdf）

なお「ペッパピッグ」は、アニメーション作品とその主人公の名称です。NUWA-Infinityは「ペッパピッグ」という言葉が指すものを認識したうえで、動画を作り出したことがわかります。

文章から画像を生成するAIについては、2022年に入ってから複数の研究成果が発表されており、「The Insight」でも取り上げてきました。

そうした競合AIと比較して、NUWA-Infinityは何が違うのかを解説します。