OpenAIが活用するLLM（大規模言語モデル）が与える影響の評価基準

今週のテーマ：作業効率化

大規模言語モデル（LLM）がアメリカ労働市場へ与える影響を研究したOpenAIのレポート「GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models」を3回に分けて読み解く中編の今回は、OpenAIがどのようにLLMによる労働市場への影響を研究したのか、評価基準を解説し実際の研究結果を紹介します。労働市場への影響、所得、職業のレベル、そして、スキルへの影響を解説します。

💡 この記事から得られる３つのナレッジ
・LLMの評価基準
・LLMが与える影響の評価方法
・LLMが与える影響の結果

論文データ：今回のディスカッション対象の論文をご紹介します。

タイトル：GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models
著者：Tyna Eloundou, Sam Manning, Pamela Mishkin, and Daniel Rock
掲載サイト：arxiv.org
発行日：March 27, 2023
URL：https://arxiv.org/pdf/2303.10130.pdf

目次

LLMが与える影響の評価方法

LLMが与える影響の研究結果

LLMが与える影響の評価方法

この研究で研究者たちは、Generative Pre-trained Transformers（GPTs）のような大規模言語モデル（LLMs）の潜在的な影響について調査しました。彼らは新しい評価基準を用いて、LLMの能力との整合性に基づいて職業を評価し、人間の専門知識とGPT-4の分類を統合しました。

研究者は、GPTによって各職業が受けること影響を評価するため、それらの影響をExposure（露出）と呼び、評価基準として使用しました。

Exposure（露出）は、GPTまたはGPTを搭載したシステムにより人間が行うタスク(DWA：Detailed Work Activity）の時間が短縮するか、またはタスクを完了するために必要な時間を少なくとも50パーセント短縮するかどうかの尺度とされ、Exposure（露出）は3つのレベルに分類されました。

• No exposure/露出なし（E0）：GPTの使用により、同等の品質を維持しながら活動またはタスクを完了するのに必要な時間がほとんどまたはまったく短縮されない
• Direct exposure/直接的な露出（E1）：GPTの使用により、タスクを完了するのに必要な時間を少なくとも半分（50％）に短縮することができる
• LLM+ Exposed（E2）：GPTへのアクセスだけではタスクを完了するのに必要な時間を少なくとも半分には短縮できないが、GPTの上に追加のソフトウェアを開発することでタスクを品質を維持しながら少なくとも半分の時間で完了することができるようになる

（画像引用：https://arxiv.org/pdf/2303.10130.pdf）

LLMが与える影響の研究結果

GPTによる影響をExposure（露出）とした評価基準をもとに様々な研究が行われた結果の中から、労働市場への影響がわかる結果を4つ抜粋し解説します。

　PAIoneerPRO会員に登録 ▷　
PAIoneer PRO
詳細はこちら

　会員の方はログイン▷　

AI業界の2022年を振り返る、大流行した生成AIの未来

OpenAIのGPT-3を超えるMeta「LLaMA」が示したAIの新境地

大規模言語モデルとは？注目のオープンソース「BLOOM」解説

強化学習を用いて開発されたDeepMindの対話AI「Sparrow」を解説