アメリカ最新AI情報満載!セミナーや講演情報など交えて毎週水曜配信 無料ニュースレター 下記へメールアドレスを入力し無料で登録
CLOSE
パロアルトインサイト/ PALO ALTO INSIGHT, LLC.
ブログBLOG
パロアルトインサイト/PALO ALTO INSIGHT, LLC. > ブログ > AIリーディングカンパニー3社から発表された論文
AIリーディングカンパニー3社から発表された論文
2022/07/06 ブログ, The Insight人気記事, The Insight 
by kohei 

AIリーディングカンパニー3社から発表された論文

The Insight で紹介してきた記事よりAIカンパニーの論文をまとめて紹介

今週のテーマ:技術開発

パロアルトインサイトの嶋崎です。The Insight の過去32回にわたり配信してまいりました。購読者の皆様、いつもThe Insight をお読みいただきありがとうございます。今回は過去に配信してきた記事より、AIカンパニー3社に焦点を当ててご紹介します。

目次

AIリーディングカンパニーを3社紹介

DeepMind

OpenAI

Google

AIビジネスデザイナーのワンポイントアドバイス

AI リーディングカンパニー3社紹介

The Insight でご紹介してきた記事の中から、AIカンパニー3社から発表された論文をまとめて紹介します。

DeepMind

2010年の秋、ロンドンを拠点にデミス・ハサビスによって設立されたAI カンパニーです。2014年には、グーグルにより買収され現在はグーグルの傘下です。買収が発表された頃、買収額は6億5000万ドルに上ると話題となりました。The Insight で紹介したヒントン教授の新会社の入札に参加した企業でもありました。(入札額が釣り上げられ途中で離脱)

ディープマインドという社名は、ディープラーニングと神経科学、そしてイギリスのSF小説『銀河ヒッチハイク・ガイド』のなかで、生命についての究極の問いに対する答えを計算するスーパーコンピューター「ディープソート」など考え合わせてつけられたそうです

設立当時から、人間の脳ができることを何でも、それもより効率的にできるような技術、「汎用人工知能(AGI)」の構築を目指し高い目標を掲げたスタートアップ企業で、DeepMind のサイトの自社ストーリーの中でも、AGI を広めることを掲げております。

Like the Hubble telescope that helped us look deeper into space, these tools are already expanding human knowledge and making positive global impact. Our long term aim is to solve intelligence, developing more general and capable problem-solving systems, known as artificial general intelligence (AGI).

ハッブル望遠鏡が宇宙の奥深くまで見通せるようになったように、人類の知識を広げ、世界に良い影響を及ぼしているのです。私たちの長期的な目標は、知能の答えを見つけることです。より一般的で能力の高い問題解決システムを開発し、人工知能(AGI)として知られるようになることです。

The Insight で取り上げた論文

AGI の実現に向け – Reward is enough

DeepMind社のポジションペーパー(学術論文と違い、数学的な証明や実験に基づく仮説の証明がなく、文章だけで仮説を提示する論文)が、AI研究者の間で話題となりました。その論文のタイトルは「Reward is enough」と名付けられは、AGIを実現するためには、報酬を与えるだけで十分であると主張したことで賛否両論の論争を巻き起こしました。

前編では人間を越えるAIの可能性についてや、「Reward is enough」で主張しているポイントの解説、後編ではDeepMind社の論文の倫理的課題/心理学的課題を掘り下げ、ゴール設定の重要性を解説しました。

囲碁AI の快挙 「AlphaGo」

将棋やチェスの試合でAIが人間に勝利し始めた頃、囲碁においてAIが人間に勝利するには10年以上かかると言われておりました。その理由は、囲碁はチェスや将棋のようなゲームと違って盤面が広く、しかも駒のひとつひとつに役割がないので、打ち手のパターンが膨大になるからです。しかし、2016年、DeepMindの「AlphaGo」は囲碁世界チャンピオンに勝利しました。

なぜ、大方の予想を覆して短期間でAIが成長し世界チャンピオンに勝つことができたのか、そしてAlphaGoの重要なポイントの「ディープラーニングと強化学習を組み合わせたプログラムに成功した」ことを前編にて解説し、後編ではAlphaGoの根幹技術である強化学習をビジネスの現場での応用期待できる分野を解説しました。

AGI 実現への新たなアプローチ 「Gato」

2022年5月DeepMind社がAGIの実現に近づく新しいアプローチを発表し、大きな話題を集めました。AGI へ近づいたとされるこの「Gato」は、DeepMind社が発表した「Reward is enough」の強化学習とは異なったアプローチであることがポイントです。Gatoの研究で論文の研究者たちが示したかったのは「データは種類によらず本質的に同じもの」「種類ごとに分けることは必ずしも必要ではない」ということであり、実用化を目指すというよりも学術的な意味合いが強い研究です。

OpenAI

AIを研究するアメリカの非営利団体として2015年12月に設立され、電気自動車メーカー「テスラ」のCEOであるイーロン・マスクや、フィンテックのスタートアップ「ストライプ」の元最高技術責任者のグレッグ・ブロックマン、アメリカのスタートアップへ投資を行うY Combinatorの前CEOであるサム・アルトマンなど、ビジネス系著名人が設立したことでも話題となりました。

OpenAIもAGIについてミッションで触れています。

OpenAI’s mission is to ensure that artificial general intelligence (AGI)—by which we mean highly autonomous systems that outperform humans at most economically valuable work—benefits all of humanity.

We will attempt to directly build safe and beneficial AGI, but will also consider our mission fulfilled if our work aids others to achieve this outcome.

OpenAIのミッションは、汎用的人工知能(AGI)ー経済的価値のある仕事において人間を上回る自律的なシステムー が全人類に利益をもたらすことを確実にすることです。
私たち自身で安全で有益なAGIを構築することを試みますが、私たちの仕事が他の人の成果を助けることになれば、私たちの使命は達成されると考えます。

(引用:https://openai.com/)

OpenAIは設立当初、大手インターネット企業がもたらす危険への対抗勢力と表現し、テクノロジーを無制限に公開する予定でした。しかし、自然言語処理モデルの「GPT-2」の公開を巡り、フェイクニュースなどの悪用を懸念し段階的な公開という手法を選び話題となっただけでなく、社会的影響の大きい研究成果をいかに世に送り出すべきか議論を呼びました。

The Insight で取り上げた論文

話題を呼んだ自然言語処理 「GPT-3」

OpenAIが生み出した大規模自然言語処理モデルであるGPT-3は「Generative Pre-trained Transformer – 3」の略であり、深層学習モデルである「トランスフォーマー(Transformer)」を用いたGPT-2に続く3番目のモデルです。過去のモデルと異なるポイントは、大容量のデータを学習させられる点であり、パラメータ数は約1750億個準備されたことによって人が書いたような文章を自動で生成できることが特徴です。

GPT-3を理解するうえで欠かせない「トランスフォーマー(Transformer)」とその根幹技術である「注意機構(Attension mechanism)」について解説しました。

自然言語処理の世界に衝撃をもたらした「GPT-3」その根幹を成すトランスフォーマー(Transformer)と注意機構とは

人に寄り添うよう改良されたGPT-3 「InstructGPT」

「InstructGPT」は、OpenAIが2020年に発表した自然言語処理モデル「GPT-3」の改良版です。GPT-3API公開後、様々な分野でアプリケーションが開発され、SNS上を中心に大きな反響を呼びました。OpenAIによると、約9か月間で300以上のアプリケーションが開発されたと言います。

さまざまなアプリで使用された反面、改良が必要とされた3つの課題も見つかりました。

前編では、1. 莫大な運用コスト、2. 推論することが苦手、3. 人々にとって有害な情報を作り得ること、の3つの課題や、「InstructGPT」はどのように開発されたのか、最大の特徴である「ユーザーの指示に従うように最適化されている」ことについて。後編では、より安全で人により添うAI開発に必要である「アライメント」の重要性、AI のバイアス、そしてInstructGPTに期待することを解説しました。

AI による画像生成 「DALL·E 2」

デジタルアートが最近話題となっていますが、DALL·E 2は画像を生成するAIです。言葉で画像のイメージを指示をすると、写真のようにリアルな画像やアート風の絵などを、創造性を持っているかのように自由自在に作り出すことで、話題となりました。

DALL·E 2の作る画像の凄さ、画像生成の技術的な2段階の処理、AIの画像生成における倫理や権利の問題など解説しました。

Google

Google には様々な機関が存在していますが、AI の開発や、論文の研究は主にGoogle AI、Google Brain、Google Research が行っており、Google はヒントン教授のDNN Researchを買収したり、DeepMind を買収したりと、ディープラーニングに力を入れております。

Google Brainは、2011年にグーグルの初期メンバーのひとりであるジェフ・ディーンと、スタンフォード大学教授のアンドリュー・ンとで設立されたディープラーニングのAI研究チームです。

「敵対的生成ネットワーク(GAN)」の発明者であるイアン・グッドフェローもかつてはGoogle Brain に所属しており、そのあとOpenAI、そしてApple へと移っていきました。

2017年に設立したGoogle AI は、ビジョンを以下のように掲げています。

Bringing the benefits of AI to everyone

At Google AI, we’re conducting research that advances the state-of-the-art in the field, applying AI to products and to new domains, and developing tools to ensure that everyone can access AI.

AIのメリットをすべての人に Google AI では、この分野の最先端技術を進歩させる研究を行い、AI を製品や新しい領域に応用し、誰もが AI にアクセスできるようにするためのツールを開発しています。

(引用:https://ai.google/)

The Insight で取り上げた論文

画像生成AI の技術トップ「Imagen」

GoogleがOpenAIのDALL·E 2に対抗するかのように少し遅れて画像生成AI「Imagen」を発表し、話題となりました。Imagen もDALL·E 2と同じように、文章で指示した画像のイメージをもとに画像を生成しますが、Google はDALL·E 2を超えたと主張しており、その主張をサポートするのは、Google が取り入れたAIモデルの評価に使用する新たなベンチマーク「DrawBench」です。

画像生成プロセス、ImagenがDALL·E 2と異なる点、評価手法「DrawBench」について解説しました。

ラベル付けされたデータを使わず学習する「自己教師あり学習」

教師あり学習ではラベル付きデータ不足やコスト面の課題がありましたが、ラベル付きデータを大量に準備しなくとも学習できる「自己教師あり学習(Self-Supervised Lerning)」と呼ばれる手法によって、大きな成果が挙げられています。自己教師あり学習の研究はGoogle だけでなく、MetaやDeepMindなどで進められており、それぞれ独自の手法を生み出しています。

The Insight ではGoogleが開発した手法「SimCLR」に注目し、自己教師あり学習(Self-Supervised Lerning)の基礎から、具体的な手法を解説しました。

トークナイザを使用しない自然言語処理モデル「ByT5」

Googleはトークナイザを使わない自然言語処理モデル「T5(Text-To-Text Transfer Transformer)」を発表しました。入力と出力の両方をテキストで行うことができるのが特徴Aです。この回では、AIの中でも重要分野である自然言語処理(NLP:Natural Language Processing)、日本語の自然言語処理に欠かせないトークナイザの解説に加え、Google のBy T5 についてに解説しました。

Tokenizer(トークナイザ)とは何か?なぜ、日本語はAIにとって難しいとされているのか

機械学習/深層強化学習の評価方法

Google はAI技術の開発だけでなく、そのAI技術の評価についても提案したり、問題を指摘したりとAI業界へ貢献しております。

機械学習のモデルの開発プロセスは複雑で開発途中に様々な課題に直面します。そのため、Google は機械学習モデルの開発を円滑に進めるため、「仕組み」を整えることに注目し、一本の論文にまとめられるほど「開発の仕組みづくり」に多大な労力をかけました。そこで編み出されたのが、「機械学習モデル開発を成功させるために必要な4つテスト」です。「機械学習の評価方法 – The ML test score」では、開発現場で直面する課題や、その必要な4つテストを解説しました。現場で使える知識を集めた実務的な論文です。

「深層学習の評価方法 – Deep Reinforcement Learning Evaluation」では、論文の実験結果の数値には「統計的な誤差」があるため、実際には論文の数字を鵜呑みにはできないという問題にGoogleが正面から取り組み、AI学会のNeurIPSでは特に優れた論文に与える「Outstanding Paper Award(優秀論文賞)」を受賞しました。

論文では、統計的不確実性に警鐘を鳴らし、過去の研究をあらためて検証することで過大評価されていることを指摘するだけでなく、Googleが推奨する指標「IQM」を提示しました。The Insight の記事では、検証した内容、指標「IQM」について詳しく解説しました。

AIビジネスデザイナーのワンポイントアドバイス

https://www.paloaltoinsight.com/membership-checkout/?level=4
https://www.paloaltoinsight.com/membership-checkout/?level=4

 PAIoneerPRO会員に登録 ▷ 
PAIoneer PRO
詳細はこちら

 会員の方はログイン▷ 

おすすめ/関連記事こちらの記事も合わせてどうぞ

パロアルトインサイトについて

AIの活用提案から、ビジネスモデルの構築、AI開発と導入まで一貫した支援を日本企業へ提供する、石角友愛氏(CEO)が2017年に創業したシリコンバレー発のAI企業。

社名 :パロアルトインサイトLLC
設立 :2017年
所在 :米国カリフォルニア州 (シリコンバレー)
メンバー数:17名(2021年9月現在)

パロアルトインサイトHP:www.paloaltoinsight.com
お問い合わせ、ご質問などはこちらまで:info@paloaltoinsight.com

石角友愛
<CEO 石角友愛(いしずみともえ)>

2010年にハーバードビジネススクールでMBAを取得したのち、シリコンバレーのグーグル本社で多数のAI関連プロジェクトをシニアストラテジストとしてリード。その後HRテック・流通系AIベンチャーを経てパロアルトインサイトをシリコンバレーで起業。データサイエンティストのネットワークを構築し、日本企業に対して最新のAI戦略提案からAI開発まで一貫したAI支援を提供。東急ホテルズ&リゾーツ株式会社が擁する3名のDXアドバイザーの一員として中長期DX戦略について助言を行う。

AI人材育成のためのコンテンツ開発なども手掛け、順天堂大学大学院医学研究科データサイエンス学科客員教授(AI企業戦略)及び東京大学工学部アドバイザリー・ボードをはじめとして、京都府アート&テクノロジー・ヴィレッジ事業クリエイターを務めるなど幅広く活動している。

毎日新聞、日経xTREND、ITmediaなど大手メディアでの連載を持ち、 DXの重要性を伝える毎週配信ポッドキャスト「Level 5」のMCや、NHKラジオ第1「マイあさ!」内「マイ!Biz」コーナーにレギュラー出演中。「報道ステーション」「NHKクローズアップ現代+」などTV出演も多数。

著書に『AI時代を生き抜くということ ChatGPTとリスキリング』(日経BP)『いまこそ知りたいDX戦略』『いまこそ知りたいAIビジネス』(ディスカヴァー・トゥエンティワン)、『経験ゼロから始めるAI時代の新キャリアデザイン』(KADOKAWA)、『才能の見つけ方 天才の育て方』(文藝春秋)など多数。

実践型教育AIプログラム「AIと私」:https://www.aitowatashi.com/
お問い合わせ、ご質問などはこちらまで:info@paloaltoinsight.com

 

※石角友愛の著書一覧

NEWSLETTERパロアルトインサイトの
無料ニュースレター

毎週水曜日、アメリカの最新AI情報が満載の
ニュースレターを無料でお届け!
その他講演情報やAI導入事例紹介、
ニュースレター登録者対象の
無料オンラインセミナーのご案内などを送ります。

BACK TO BLOG
« »
PAGE TOP