アメリカ最新AI情報満載!セミナーや講演情報など交えて毎週水曜配信 無料ニュースレター 下記へメールアドレスを入力し無料で登録
CLOSE
パロアルトインサイト/ PALO ALTO INSIGHT, LLC.
ブログBLOG
パロアルトインサイト/PALO ALTO INSIGHT, LLC. > ブログ > 自然言語処理の世界に衝撃をもたらした「GPT-3」
自然言語処理の世界に衝撃をもたらした「GPT-3」
2021/12/20 ブログ, The Insight 
by kohei 

自然言語処理の世界に衝撃をもたらした「GPT-3」

その根幹を成すトランスフォーマー(Transformer)と注意機構とは

こんにちは。The Insight編集担当の嶋崎です。おかげさまでThe Insightも12月1日無事ローンチし、読者の皆様からコメントを頂く機会も増え、編集部一同大変嬉しく思っております。今後もテーマ決めなどの参考にさせていただきたいため、お気軽にコメント等頂けましたら幸いです。それでは今週のThe Insightをお楽しみください。

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」は今週で第5回目の記事となります。今回は、昨今注目を集めている自然言語処理モデル「GPT-3」と、使われている深層学習モデル「トランスフォーマー(Transformer)」、その技術的根幹である「注意機構(Attention Mechanism)」についてご紹介します。

💡この記事から得られる3つのナレッジ
  • イーロンマスクが作ったアメリカの非営利団体であるOpenAIについて理解できる
  • GPT-3の概要と自然言語処理に与えた影響
  • トランスフォーマー(Transformer)と注意機構の仕組み

論文データ: 今回のディスカッション対象の論文をご紹介します。

タイトル:Attention Is All You Need 著者:Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin 掲載サイト:arXiv 発行日:2017年12月6日 引用数: URL:https://arxiv.org/pdf/1706.03762.pdf

image

目次

シンギュラリティを実現する?OpenAIの紹介とGPT-3

機械翻訳の歴史とGPT-3誕生の経緯

  従来の機械翻訳とその課題

  翻訳品質を向上させた「注意機構」

  注意機構を用いたトランスフォーマー(Transformer)の登場

データサイエンティストのディスカッションポイント

  1.広がるGPT-3の活用場面

  2. 書くことの大変さを軽減するGPT-3搭載ライティング支援ツール

AIビジネスデザイナーのワンポイントアドバイス

 


 2020年に米国のAI研究企業OpenAIが開発・発表した超高精度の文章生成ツール、言語AIである「GPT-3」は、自然言語処理の世界に大きな衝撃をもたらしました。すでにGPT-3を使った多数の文章生成などのアプリケーションが開発されており、OpenAIによるとその数は2021年3月時点で300以上にのぼっています。

 そのGPT-3に使われているのが深層学習モデル「トランスフォーマー(Transformer)」です。トランスフォーマーというと映画を想像しますが、ここでは自然言語処理の技術であり、GPT-3を理解するうえで欠かせない「トランスフォーマー(Transformer)」とその根幹技術である「注意機構(Attension mechanism)」について解説します。

シンギュラリティを実現する?OpenAIの紹介とGPT-3

 2015年12月、テスラ創業者であるイーロン・マスク氏や、アメリカのスタートアップへ投資を行うY Combinatorの前CEOであるサム・アルトマンらビジネス系著名人が設立したことで注目を集めた「Open AI」。AIを研究し、活用可能なAIを提供するアメリカの非営利団体です。人工的な一般知能(AGI)、つまり、経済的に価値のある仕事において人間を凌駕する高度な自律システムが、全人類に利益をもたらすようにすることを使命にかかげています。(引用:AI Market

 GPT-3とは、そのAI開発の非営利団体「OpenAI」が生み出した大規模自然言語処理モデルです。「Generative Pre-trained Transformer – 3」の略で、その名の通り、深層学習モデルである「トランスフォーマー(Transformer)」を用いた3番目のモデルです。

 GPT-3の最大の特徴は、これまでに比べて大容量のデータを学習させられる点です。パラメータ数は約1750億個準備されております。一般的にマシンラーニングモデルは、タスク遂行のためにはそれに該当するデータを学習する必要がありました。しかし、GPT-3はいくつかのサンプルだけを示し次の結果が何なのかを予測するので、新しい言語タスクのためにあえてデータを作らなくてもかなり高い性能を見せることができます。そのため、文章の中で次にくる単語を適切に予測できるようになり、従来に比べて格段に自然な、人が書いたような文章を自動で生成できるようになりました。(引用:日経XTECH

 Open Zeppelinの元最高技術責任者であったManuel Araozさんのブログ「OpenAI’s GPT-3 may be the biggest thing since bitcoin」の文章は自然に書かれてたのにも関わらず、ブログの終盤にGPT-3 によって書かれた記事だと記載されていたことが話題となりました。また、大学生が作成した偽ブログ記事がハッカー・ニュースで1位を獲得したくらい、GPT-3はとても簡単にそして自然に文章を書くことができるツールとなっております。

 

機械翻訳の歴史とGPT-3誕生の経緯

 自然言語処理界に驚きを与えたGPT-3。それを可能にしたのはトランスフォーマー(Transformer)とその根幹技術である注意機構です。ではそれらがどのように生まれたのか、その経緯を簡単にご説明します。

従来の機械翻訳とその課題

 これまでの機械翻訳の主流は、回帰型ニューラルネットワーク(RNN)を用いた「エンコーダー・デコーダーモデル」でした。

エンコーダー・デコーダーモデルの大まかな仕組みは、次のようになっています。

https://www.paloaltoinsight.com/membership-checkout/?level=4
https://www.paloaltoinsight.com/membership-checkout/?level=4

 PAIoneerPRO会員に登録 ▷ 
PAIoneer PRO
詳細はこちら

 会員の方はログイン▷ 

パロアルトインサイトについて

AIの活用提案から、ビジネスモデルの構築、AI開発と導入まで一貫した支援を日本企業へ提供する、石角友愛氏(CEO)が2017年に創業したシリコンバレー発のAI企業。

社名 :パロアルトインサイトLLC
設立 :2017年
所在 :米国カリフォルニア州 (シリコンバレー)
メンバー数:17名(2021年9月現在)

パロアルトインサイトHP:www.paloaltoinsight.com
お問い合わせ、ご質問などはこちらまで:info@paloaltoinsight.com

石角友愛
<CEO 石角友愛(いしずみともえ)>

2010年にハーバードビジネススクールでMBAを取得したのち、シリコンバレーのグーグル本社で多数のAI関連プロジェクトをシニアストラテジストとしてリード。その後HRテック・流通系AIベンチャーを経てパロアルトインサイトをシリコンバレーで起業。データサイエンティストのネットワークを構築し、日本企業に対して最新のAI戦略提案からAI開発まで一貫したAI支援を提供。東急ホテルズ&リゾーツ株式会社が擁する3名のDXアドバイザーの一員として中長期DX戦略について助言を行う。

AI人材育成のためのコンテンツ開発なども手掛け、順天堂大学大学院医学研究科データサイエンス学科客員教授(AI企業戦略)及び東京大学工学部アドバイザリー・ボードをはじめとして、京都府アート&テクノロジー・ヴィレッジ事業クリエイターを務めるなど幅広く活動している。

毎日新聞、日経xTREND、ITmediaなど大手メディアでの連載を持ち、 DXの重要性を伝える毎週配信ポッドキャスト「Level 5」のMCや、NHKラジオ第1「マイあさ!」内「マイ!Biz」コーナーにレギュラー出演中。「報道ステーション」「NHKクローズアップ現代+」などTV出演も多数。

著書に『いまこそ知りたいDX戦略』『いまこそ知りたいAIビジネス』(ディスカヴァー・トゥエンティワン)、『経験ゼロから始めるAI時代の新キャリアデザイン』(KADOKAWA)、『才能の見つけ方 天才の育て方』(文藝春秋)など多数。

※石角友愛の著書一覧

NEWSLETTERパロアルトインサイトの
無料ニュースレター

毎週水曜日、アメリカの最新AI情報が満載の
ニュースレターを無料でお届け!
その他講演情報やAI導入事例紹介、
ニュースレター登録者対象の
無料オンラインセミナーのご案内などを送ります。

BACK TO BLOG
« »
PAGE TOP