アメリカ最新AI情報満載!セミナーや講演情報など交えて毎週水曜配信 無料ニュースレター 下記へメールアドレスを入力し無料で登録
CLOSE
パロアルトインサイト/ PALO ALTO INSIGHT, LLC.
ブログBLOG
パロアルトインサイト/PALO ALTO INSIGHT, LLC. > ブログ > ChatGPTの背景
ChatGPTの背景
2023/07/22 ブログ 
by 長谷川貴久 

GPTは、Generative Pretrained Transformerの略で、OpenAIによって訓練されたニューラルネットワークで、入力されたテキストに基づいてテキストを生成する能力を持っています。これは、Large Language Model(大規模言語モデル)と呼ばれるニューラルネットワークの一種です。 言語モデルは、Claude Shannonによって1948年に開発された古い技術です。初期のモデルは非常に性能が劣っており能力が限られていました。 初期の言語モデルはいくつかの弱点がありました。以下は、その制限のいくつかです。

  1. 文脈理解の欠如:初期の言語モデルは、数文の前にある会話やテキストの文脈を理解するのに苦労しました。彼らは長期的な記憶が限られていたため、一貫した会話を維持するのが困難であり、複雑なクエリを理解するのも難しかったです。
  2. 浅い意味理解:初期の言語モデルは、より深い意味理解が欠けており、微妙な意味、慣用句、曖昧なフレーズに苦労しました。真の理解ではなく、統計パターンに依存していました。
  3. 一貫性のない回答:トレーニングデータの制限と回答生成の明示的なガイドラインの欠如により、初期の言語モデルは一貫性のない動作を示しました。同じ入力クエリに対して不一致または非意味的な回答を生成することができ、異なる文脈で一貫した回答を提供するのにも苦労しました。

これらは、最初はGPTが世界を本当に理解することができない「ただ」の言語モデルとして揶揄された理由です。しかし、ChatGPTは、自らが素朴なトークンジェネレータ以上のものであることを証明しました。例えば、次のようなことができます。

では、ChatGPTとGPTの違いは何でしょうか? ChatGPTは、友達、教師、またはメンターのようにユーザーが会話できるGPTです。以下は、ChatGPTの典型的なチャットログです。

ここでは私がChatGPTに豚の角煮のレシピを聞いて、材料と手順が記載された詳細なレシピを提供することができます。さらに、ユーザーは会話を進めることができ、GPTは会話の文脈を覚えています。上記の会話では、血抜きをする方法を尋ねて、私たちが豚について話していることを覚えていました。また、他に合う料理を尋ねると、豚の角煮に合う料理を提供してくれます。

以下は、GPTのタイムラインです。

バージョン パラメータ数 機能
2018 2 1 0.12B ファインチューニングによる複数のタスクを実行できる。
2019 2 2 1.5B 人間らしいと説得できる
2020 6 3 175B チャットとフューショットラーニングができる
2022 3 3.5 175B プログラミングコーデックス
2023 3 4 1T?(噂、非公開情報) 高い創造性と推論能力

 

2018年以降、GPTは5つのバージョンを経験しています。パラメータ数はニューラルネットワークのサイズを表します。最初のGPTが生まれて以来、パラメータ数は1000倍に増加し、その機能も向上しており、これからも向上することが予測されています。

パロアルトインサイトについて

AIの活用提案から、ビジネスモデルの構築、AI開発と導入まで一貫した支援を日本企業へ提供する、石角友愛氏(CEO)が2017年に創業したシリコンバレー発のAI企業。

社名 :パロアルトインサイトLLC
設立 :2017年
所在 :米国カリフォルニア州 (シリコンバレー)
メンバー数:17名(2021年9月現在)

パロアルトインサイトHP:www.paloaltoinsight.com
お問い合わせ、ご質問などはこちらまで:info@paloaltoinsight.com

石角友愛
<CEO 石角友愛(いしずみともえ)>

2010年にハーバードビジネススクールでMBAを取得したのち、シリコンバレーのグーグル本社で多数のAI関連プロジェクトをシニアストラテジストとしてリード。その後HRテック・流通系AIベンチャーを経てパロアルトインサイトをシリコンバレーで起業。データサイエンティストのネットワークを構築し、日本企業に対して最新のAI戦略提案からAI開発まで一貫したAI支援を提供。東急ホテルズ&リゾーツ株式会社が擁する3名のDXアドバイザーの一員として中長期DX戦略について助言を行う。

AI人材育成のためのコンテンツ開発なども手掛け、順天堂大学大学院医学研究科データサイエンス学科客員教授(AI企業戦略)及び東京大学工学部アドバイザリー・ボードをはじめとして、京都府アート&テクノロジー・ヴィレッジ事業クリエイターを務めるなど幅広く活動している。

毎日新聞、日経xTREND、ITmediaなど大手メディアでの連載を持ち、 DXの重要性を伝える毎週配信ポッドキャスト「Level 5」のMCや、NHKラジオ第1「マイあさ!」内「マイ!Biz」コーナーにレギュラー出演中。「報道ステーション」「NHKクローズアップ現代+」などTV出演も多数。

著書に『いまこそ知りたいDX戦略』『いまこそ知りたいAIビジネス』(ディスカヴァー・トゥエンティワン)、『経験ゼロから始めるAI時代の新キャリアデザイン』(KADOKAWA)、『才能の見つけ方 天才の育て方』(文藝春秋)など多数。

※石角友愛の著書一覧

NEWSLETTERパロアルトインサイトの
無料ニュースレター

毎週水曜日、アメリカの最新AI情報が満載の
ニュースレターを無料でお届け!
その他講演情報やAI導入事例紹介、
ニュースレター登録者対象の
無料オンラインセミナーのご案内などを送ります。

BACK TO BLOG
« »
PAGE TOP