画像からの「教師あり学習」と動画からの「教師なし学習」を組み合わせるアプローチ
パロアルトインサイトの石角です。「The Insight」で何度も紹介してきた画像生成AIは、直近の数ヶ月間で一般の人が利用できるものが次々に登場し、SNSを通じて大きな話題となりました。
次に大きなトレンドとなると予想されるのが、動画生成AIです。2022年9月、Metaが「Make-A-Video」と名付けた新たな動画生成AIを発表し、注目を集めています。
シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。今回取り上げるのは、Metaが開発した動画生成AI「Make-A-Video」です。
論文データ:今回のディスカッション対象の論文をご紹介します。
タイトル:Make-A-Video: Text-to-Video Generation without Text-Video Data
著者:Uriel Singer et al.
掲載サイト:arXiv
発行日:2022年9月29日
引用数:
URL:https://arxiv.org/abs/2209.14792
Make-A-Videoは、2022年9月にMetaが発表した「動画を生成するAI」です。Make-A-Videoは以下の3種類の入力情報から、動画を生成できます。
Make-A-Videoの最も主要な手法な用途は、「文章から動画を生成すること」です。短い指示文を与えるだけで、Make-A-Videoは文章の意味に合った動画を生み出します。
Make-A-Videoが生成した動画は公式サイトで公開されているので、見てみるとよいでしょう。公式サイトから2つ例を引用すると、以下の通りです。どちらの例でも、文章で指示された通りの動画が生成されていることが確認できます。
(画像引用:https://makeavideo.studio)
A dog wearing a Superhero outfit with red cape flying through the sky (日本語訳:赤いマントのスーパーヒーローの服を着て空を飛んでいる犬)
Make-A-Videoは、入力情報として「文章」ではなく「画像」も扱えます。画像が1枚与えられると、Make-A-Videoはその前後の時間軸の画像を生み出し、画像をつなげて動画を生成します。
下図の例では、Make-A-Videoは左側の絵画の画像を入力として、右側の動画を生成しました。嵐の中を進む小舟の様子を、まるで現実の映像のように描写しています。
また、Make-A-Videoは2枚の画像を入力として、画像間の時間を補完する動画を生成することも可能です。その例が下図で、無重力の宇宙空間にある岩が動いていく様子を表現しています。
Make-A-Videoは「動画」を入力として、別の「動画」を生み出せます。オリジナルの動画の特徴を反映させつつ、少し異なるバージョンの動画を生成するのです。
その例が下図です。Make-A-Videoが生み出した動画は、「宇宙空間に浮かぶ宇宙飛行士」という点ではオリジナルと同じですが、まったく別の動画となっています。
Make-A-Videoの技術的な側面を解説します。
進歩が著しい画像生成AIと比べると、動画生成AIはまだまだ発展途上です。公開されているMake-A-Videoが生成した動画の中には、現実ではありえない動きをするものも混じっています。
動画生成AIの開発が遅れている理由としては、まず動画は画像よりも情報量が多く複雑だという点があります。それに加えて大きな要因となっているのが、「文章と動画の組み合わせ」のデータセットが少ないことです。
画像生成AIは、インターネット上から「文章と画像の組み合わせ」を大量に収集して学習することで、性能を高めました。しかし、動画では十分な「質」と「量」のデータセットを集められないため、画像と同じアプローチが有効ではないのです。
AIの活用提案から、ビジネスモデルの構築、AI開発と導入まで一貫した支援を日本企業へ提供する、石角友愛氏(CEO)が2017年に創業したシリコンバレー発のAI企業。
社名 :パロアルトインサイトLLC毎週水曜日、アメリカの最新AI情報が満載の
ニュースレターを無料でお届け!
その他講演情報やAI導入事例紹介、
ニュースレター登録者対象の
無料オンラインセミナーのご案内などを送ります。