アメリカ最新AI情報満載!セミナーや講演情報など交えて毎週水曜配信 無料ニュースレター 下記へメールアドレスを入力し無料で登録
CLOSE
パロアルトインサイト/ PALO ALTO INSIGHT, LLC.
ブログBLOG
パロアルトインサイト/PALO ALTO INSIGHT, LLC. > ブログ > InstructGPTとアライメントとは
InstructGPTとアライメントとは
2022/03/16 ブログ, The Insight 
by kohei 

InstructGPTとアライメントとは

より安全で人により添うAI開発の可能性

今週のテーマ:業務効率化

編集・レイアウトを担当してます嶋崎です。突然ですが、皆さんは月面着陸について6歳児へどのように説明しますでしょうか。少し考えてみてください。GPT-3とInstructGPTがどのように違うか、より実感が湧くと思います。

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。前回、OpenAIが開発した言語モデル「GPT-3」と、その改良版の「InstructGPT」が開発された背景についてご紹介しました。また、InstructGPTに採用されたRLHF(人間のフィードバックを反映させた強化学習)について解説しました。

今回は、InstructGPTの評価と今後の展望についてお話します。

この記事から得られる3つのナレッジ
・InstructGPTの評価
・AIにおける「アライメント」とその課題
・AI倫理とモデルカードについて

 

論文データ:
今回のディスカッション対象の論文をご紹介します。

論文タイトル:Training language models to follow instructions with human feedback
著者:Jan Leike, Ryan Lowe, et al.
掲載サイト:
発行日:2022年 1月27日
引用数:
URL:https://cdn.openai.com/papers/Training_language_models_to_follow_instructions_with_human_feedback.pdf

この論文を選んだポイント
既存の機械学習の手法に、人間のフィードバックを巻き込むことで、より人間らしく感じるAIを作ることが出来る可能性を秘めた技術の転換点になりうる論文のため。

この記事に登場する技術キーワード

目次

InstructGPTは、どう進化したのか

「アライメント」がAIの質をあげる

AIのバイアスをどう取り除くか

モデルカードはAI倫理を守る有効な手段

今後の活用が期待されるInstructGPT

AIビジネスデザイナーのワンポイントアドバイス


InstructGPTは、どう進化したのか

InstructGPTは、人間のフィードバックを反映させた強化学習(RLHF=Reinforcement Learning from Human Feedback)を採用することで、より安全で人間の意図に沿った結果を出すことに成功しました。

InstructGPTとGPT-3が生成した文章を比較すると、その差は歴然としています。

「月面着陸について6歳児に簡単に説明しなさい」というプロンプト(問いかけ)に対し、GPT-3は正しく回答ができず、下記のような質問に答えているとは言えない4つの文を生成しました。

「6歳児に重力について説明してください」
「6歳児に相対性理論について説明してください」
「6歳児にビッグバンの理論について説明してください」
「6歳児に進化について説明してください」

一方、InstructGPTは、

「人々が月に行き、そこで見たものを撮影し、私たちみんなが見られるように地球に持ち帰りました」

と、質問の意図に合った文章を生成しています。

(引用:https://openai.com/blog/instruction-following/

「賢いカエルについて短い詩を書きなさい」というプロンプトに対しては、GPT-3は

「登場人物が2つの名前を持っている短い物語を書きなさい」
「あなたが失ったものを取り戻そうとした短い物語を書きなさい」
「登場人物が悪い夢を持っている短い物語を書きなさい」

などの答えになっていない文章を生成したのに対し、InstructGPTでは、

「カエルは賢さの象徴だ。彼は世界のすべての秘密を知っている。彼は変装の達人だ。そして人生の師だ」

と、きちんと詩の形式で文章を生成しました。

(引用:https://openai.com/blog/instruction-following/

InstructGPTとGPT-3によるアウトプットの品質を比較したところ、InstructGPTの方が圧倒的に高い評価を得ました。

提示された文に回答者がどの程度合意できるかを回答する手法であるリッカート尺度の評価では、InstructGPTの評価が7段階で5を越えるのに対し、GPT-3(未調整のGPT-3、プロンプトを与えたGPT-3、教師あり学習で調整されたGPT-3)は2〜4の評価でした。

(引用:https://openai.com/blog/instruction-following/

また、生成した文章の安全性や信憑性も高まっているという結果が出ました。

GPT-3と比較して、InstructGPTでは虚偽やデマの内容が少なく、有害な情報が生成される頻度が低くなっています。

OpenAIによると、ユーザーの70%以上が、GPT-3よりInstructGPTを支持していると言います。

(引用:https://www.technologyreview.jp/s/267557/the-new-version-of-gpt-3-is-much-better-behaved-and-should-be-less-toxic/

「アライメント」がAIの質をあげる

https://www.paloaltoinsight.com/membership-checkout/?level=4
https://www.paloaltoinsight.com/membership-checkout/?level=4

 PAIoneerPRO会員に登録 ▷ 
PAIoneer PRO
詳細はこちら

 会員の方はログイン▷ 

パロアルトインサイトについて

AIの活用提案から、ビジネスモデルの構築、AI開発と導入まで一貫した支援を日本企業へ提供する、石角友愛氏(CEO)が2017年に創業したシリコンバレー発のAI企業。

社名 :パロアルトインサイトLLC
設立 :2017年
所在 :米国カリフォルニア州 (シリコンバレー)
メンバー数:17名(2021年9月現在)

パロアルトインサイトHP:www.paloaltoinsight.com
お問い合わせ、ご質問などはこちらまで:info@paloaltoinsight.com

石角友愛
<CEO 石角友愛(いしずみともえ)>

2010年にハーバードビジネススクールでMBAを取得したのち、シリコンバレーのグーグル本社で多数のAI関連プロジェクトをシニアストラテジストとしてリード。その後HRテック・流通系AIベンチャーを経てパロアルトインサイトをシリコンバレーで起業。データサイエンティストのネットワークを構築し、日本企業に対して最新のAI戦略提案からAI開発まで一貫したAI支援を提供。東急ホテルズ&リゾーツ株式会社が擁する3名のDXアドバイザーの一員として中長期DX戦略について助言を行う。

AI人材育成のためのコンテンツ開発なども手掛け、順天堂大学大学院医学研究科データサイエンス学科客員教授(AI企業戦略)及び東京大学工学部アドバイザリー・ボードをはじめとして、京都府アート&テクノロジー・ヴィレッジ事業クリエイターを務めるなど幅広く活動している。

毎日新聞、日経xTREND、ITmediaなど大手メディアでの連載を持ち、 DXの重要性を伝える毎週配信ポッドキャスト「Level 5」のMCや、NHKラジオ第1「マイあさ!」内「マイ!Biz」コーナーにレギュラー出演中。「報道ステーション」「NHKクローズアップ現代+」などTV出演も多数。

著書に『いまこそ知りたいDX戦略』『いまこそ知りたいAIビジネス』(ディスカヴァー・トゥエンティワン)、『経験ゼロから始めるAI時代の新キャリアデザイン』(KADOKAWA)、『才能の見つけ方 天才の育て方』(文藝春秋)など多数。

※石角友愛の著書一覧

NEWSLETTERパロアルトインサイトの
無料ニュースレター

毎週水曜日、アメリカの最新AI情報が満載の
ニュースレターを無料でお届け!
その他講演情報やAI導入事例紹介、
ニュースレター登録者対象の
無料オンラインセミナーのご案内などを送ります。

BACK TO BLOG
« »
PAGE TOP