日本のAI企業であるSakana AIは、進化的アルゴリズムを活用して基盤モデルの開発に革新をもたらす取り組みを開始しました。自然界の進化の原理に着想を得たこの斬新な手法は、従来の基盤モデル開発の概念を覆す可能性を秘めています。進化的モデルマージというこの手法により、Sakana AIは新しいモデル構築の地平を切り開こうとしています。
本稿では、Sakana AIによる最新の研究成果を基に、この進化的アプローチがモデル開発に与えうる画期的な影響を探ります。現行のモデル統合技術が直面している限界とそれに伴う課題に光を当て、新しい手法が如何にしてこれらの制約を乗り越えるかを詳しく考察します。モデル開発の新たな未来を築くこの革命的なアプローチについて、そのメカニズムと意義を深く掘り下げて解説してまいります。
論文データ:
今回のディスカッション対象の論文をご紹介します。
- タイトル:Evolutionary Optimization of Model Merging Recipes
- 著者:Takuya Akiba, Makoto Shing, Yujin Tang, Qi Sun, David Ha
- URL:https://arxiv.org/abs/2403.13187
Sakana AIは、2023年に東京で設立されたAI研究開発企業です。この会社は、Google Brainの日本部門統括を務めていたDavid Ha氏と、トランスフォーマーモデルの提案論文「Attention Is All You Need」の共著者であるLlion Jones氏によって立ち上げられました。Sakana AIは、自然界から着想を得たAI、特に分散的かつ自律的なアーキテクチャの研究に注力しており、小型のAIモデルが集合して大きな課題を解決する手法を探求しています。
Sakana AIは、日本語で「魚」を意味する名前が示すように、多数の小さな要素が協力して大きな成果を生み出す自然界の原則に基づいてAIを開発することを目指しています。すでに3000万ドル(約45億円)ものシード資金を調達し、日本から世界クラスのAIラボを構築しています。革新的なアプローチと、著名な創業者による豊富な経験を背景に、AIの新時代をリードする企業として期待されています。
AIの世界では、従来から異なるモデル同士を組み合わせて、より優れた性能を持つ新しいモデルを作り出す作業が行われています。しかしこれにはいくつかの限界がありました。
従来の方法は、まるで魔法のような「ブラックアート」と呼ばれたり、中世の「錬金術」のように思われることがありました。これは、モデルを組み合わせるプロセスが非常に複雑で、AIを作る人たちの経験や直感に大きく依存しているためです。料理でいうところの「秘伝のレシピ」が必要で、そのレシピを知っている人の技術や感覚に頼ることが多かったのです。
また、異なるタイプの課題によって特別な知識が必要とされるため、その知識を持つ専門家がいなければ、最適なモデルを組み合わせることは困難でした。このため、より科学的で体系的な方法でモデルを統合する新しいアプローチが必要とされていました。このような中、Sakana AIが発表した新しい方法で、直感に頼らず、コンピューターが自動的にモデルを評価し、最適な組み合わせを見つけ出すことが期待されています。
AIの活用提案から、ビジネスモデルの構築、AI開発と導入まで一貫した支援を日本企業へ提供する、石角友愛氏(CEO)が2017年に創業したシリコンバレー発のAI企業。
社名 :パロアルトインサイトLLC
設立 :2017年
所在 :米国カリフォルニア州 (シリコンバレー)
メンバー数:17名(2021年9月現在)
パロアルトインサイトHP:www.paloaltoinsight.com
お問い合わせ、ご質問などはこちらまで:info@paloaltoinsight.com
2010年にハーバードビジネススクールでMBAを取得したのち、シリコンバレーのグーグル本社で多数のAI関連プロジェクトをシニアストラテジストとしてリード。その後HRテック・流通系AIベンチャーを経てパロアルトインサイトをシリコンバレーで起業。東急ホテルズ&リゾーツのDXアドバイザーとして中長期DX戦略への助言を行うなど、多くの日本企業に対して最新のDX戦略提案からAI開発まで一貫したAI・DX支援を提供する。2024年より一般社団法人人工知能学会理事及び東京都AI戦略会議 専門家委員メンバーに就任。
AI人材育成のためのコンテンツ開発なども手掛け、順天堂大学大学院医学研究科データサイエンス学科客員教授(AI企業戦略)及び東京大学工学部アドバイザリー・ボードをはじめとして、京都府アート&テクノロジー・ヴィレッジ事業クリエイターを務めるなど幅広く活動している。
毎日新聞、日経xTREND、ITmediaなど大手メディアでの連載を持ち、 DXの重要性を伝える毎週配信ポッドキャスト「Level 5」のMCや、NHKラジオ第1「マイあさ!」内「マイ!Biz」コーナーにレギュラー出演中。「報道ステーション」「NHKクローズアップ現代+」などTV出演も多数。
著書に『AI時代を生き抜くということ ChatGPTとリスキリング』(日経BP)『いまこそ知りたいDX戦略』『いまこそ知りたいAIビジネス』(ディスカヴァー・トゥエンティワン)、『経験ゼロから始めるAI時代の新キャリアデザイン』(KADOKAWA)、『才能の見つけ方 天才の育て方』(文藝春秋)など多数。
実践型教育AIプログラム「AIと私」:https://www.aitowatashi.com/
お問い合わせ、ご質問などはこちらまで:info@paloaltoinsight.com
※石角友愛の著書一覧
毎週水曜日、アメリカの最新AI情報が満載の
ニュースレターを無料でお届け!
その他講演情報やAI導入事例紹介、
ニュースレター登録者対象の
無料オンラインセミナーのご案内などを送ります。