Appleが変革する画像編集、テキスト指示だけで実現するAI「MGIE」の全貌と可能性

今週のテーマ：技術開発

2023年は、AIの分野でGAFAMの中でも沈黙の姿勢を見せていたAppleですが、2024年に入り自然言語の指示に基づいて画像を編集できる新しいオープンソースのAIモデル「MGIE」をリリースしました。Appleが発表した「MGIE」（MLLM-Guided Image Editing）と呼ばれるこの新しいAIモデルは、マルチモーダルな大規模言語モデル（MLLM）を利用してユーザーのテキストからのコマンドを解釈し、ピクセルレベルでの操作を行うことができる、画期的な画像編集ツールです。このモデルは、Photoshopスタイルの修正から、全体的な写真の最適化、ローカル編集など、さまざまな画像の編集を扱うことができ、画像編集の分野において大きな進展を示しています。今回の記事ではMGIEの詳細と、業界に与える影響など解説します。

論文

今回のディスカッション対象の論文をご紹介します。
タイトル：GUIDING INSTRUCTION-BASED IMAGE EDITING VIA MULTIMODAL LARGE LANGUAGE MODELS
著者： Tsu-Jui Fu, Wenze Hu, Xianzhi Du, William Yang Wang, Yinfei Yang2, Zhe Gan, UC Santa Barbara, Apple
URL：https://arxiv.org/pdf/2309.17102.pdf

目次

MGIEの仕組みと機能について

マルチモーダルなLLMを活用した画像編集の魅力

MGIEがもたらす画像編集の変革

MGIEの利用方法

終わりに

MGIEの仕組みと機能について

MGIEは、マルチモーダル大規模言語モデル（MLLM）を活用しています。マルチモーダル大言語モデルは、テキストと画像など複数のモーダルを理解し、それらの間で情報を統合する能力を持っています。研究では、このMLLMを用いて、自然言語の指示に基づく画像編集を行う新しいフレームワークが提案されています。

このフレームワークにより、MLLMが自然言語での簡単な指示から編集の意図を把握し、適切な背景画像を選択して置き換えることができるようにするなど、画像編集の過程で人間の指示をより深く理解し、意図された編集を正確に実行することが可能となりました。そのため、従来の手法では困難とされてきた複雑で抽象的な編集要求にも対応が可能になっています。

https://arxiv.org/pdf/2309.17102.pdf　より画像引用

この画像は、MLLMがテキスト指示を受け取り、それに基づいて画像を生成する過程を表したフローチャートです。インプットされた画像から、モデルは「砂漠の小屋」の画像を生成するために、「砂丘に囲まれ、サボテンや低木などの植生がある」というテキストの指示を解釈しています。チャートには、テキストを処理し画像へ変換するための複数のステップが行われ、最終的には右下のテキストの説明に合致する画像を出力しています。

マルチモーダルなLLMを活用した画像編集の魅力

　PAIoneerPRO会員に登録 ▷　
PAIoneer PRO
詳細はこちら

　会員の方はログイン▷