Sakana AIが挑む革新的モデル統合手法
「進化的アプローチ」による新しいAI開発

今週のテーマ：AI技術

日本のAI企業であるSakana AIは、進化的アルゴリズムを活用して基盤モデルの開発に革新をもたらす取り組みを開始しました。自然界の進化の原理に着想を得たこの斬新な手法は、従来の基盤モデル開発の概念を覆す可能性を秘めています。進化的モデルマージというこの手法により、Sakana AIは新しいモデル構築の地平を切り開こうとしています。

本稿では、Sakana AIによる最新の研究成果を基に、この進化的アプローチがモデル開発に与えうる画期的な影響を探ります。現行のモデル統合技術が直面している限界とそれに伴う課題に光を当て、新しい手法が如何にしてこれらの制約を乗り越えるかを詳しく考察します。モデル開発の新たな未来を築くこの革命的なアプローチについて、そのメカニズムと意義を深く掘り下げて解説してまいります。

論文データ：

今回のディスカッション対象の論文をご紹介します。

• タイトル：Evolutionary Optimization of Model Merging Recipes
• 著者：Takuya Akiba, Makoto Shing, Yujin Tang, Qi Sun, David Ha
• URL：https://arxiv.org/abs/2403.13187

目次

世界クラスのAIラボを構築したSakanaAIとは

AIモデル統合の従来の方法とその限界

AIモデル開発の新潮流「進化的アプローチ」

Sakana AIが生み出した2つの特化型日本語モデルの実力

まとめ

世界クラスのAIラボを構築したSakanaAIとは

Sakana AIは、2023年に東京で設立されたAI研究開発企業です。この会社は、Google Brainの日本部門統括を務めていたDavid Ha氏と、トランスフォーマーモデルの提案論文「Attention Is All You Need」の共著者であるLlion Jones氏によって立ち上げられました。Sakana AIは、自然界から着想を得たAI、特に分散的かつ自律的なアーキテクチャの研究に注力しており、小型のAIモデルが集合して大きな課題を解決する手法を探求しています。

Sakana AIは、日本語で「魚」を意味する名前が示すように、多数の小さな要素が協力して大きな成果を生み出す自然界の原則に基づいてAIを開発することを目指しています。すでに3000万ドル（約45億円）ものシード資金を調達し、日本から世界クラスのAIラボを構築しています。革新的なアプローチと、著名な創業者による豊富な経験を背景に、AIの新時代をリードする企業として期待されています。

AIモデル統合の従来の方法とその限界について

AIの世界では、従来から異なるモデル同士を組み合わせて、より優れた性能を持つ新しいモデルを作り出す作業が行われています。しかしこれにはいくつかの限界がありました。

従来の方法は、まるで魔法のような「ブラックアート」と呼ばれたり、中世の「錬金術」のように思われることがありました。これは、モデルを組み合わせるプロセスが非常に複雑で、AIを作る人たちの経験や直感に大きく依存しているためです。料理でいうところの「秘伝のレシピ」が必要で、そのレシピを知っている人の技術や感覚に頼ることが多かったのです。

また、異なるタイプの課題によって特別な知識が必要とされるため、その知識を持つ専門家がいなければ、最適なモデルを組み合わせることは困難でした。このため、より科学的で体系的な方法でモデルを統合する新しいアプローチが必要とされていました。このような中、Sakana AIが発表した新しい方法で、直感に頼らず、コンピューターが自動的にモデルを評価し、最適な組み合わせを見つけ出すことが期待されています。

進化的アプローチとは：AIモデル開発の新潮流

　PAIoneerPRO会員に登録 ▷　
PAIoneer PRO
詳細はこちら

　会員の方はログイン▷