OpenAIのAI分類器「GPT-3 Detector」の精度と課題

AIが生成した文章かどうかを判断するAIは実用化されるのか

今週のテーマ：技術開発

リリースから瞬く間にブレイクし、今やビジネスや生活のさまざまな現場で応用されているチャットAIツールの「ChatGPT」が、連日さまざまなメディアでも紹介され、人間が作った文章と遜色ないものが作り上がるとして、学校現場などでは警戒される動きも強まっています。そこで、ChatGPTを開発したOpenAIが新しく発表したAIが書いた文章を見破るツールについて、その精度や、今後の課題について紹介したいと思います。

💡 この記事から得られる３つのポイント

・GPT-3 Detectorとは？
・AIが生成した文章かどうかを見分ける仕組み
・「AI Text Classifier」の精度

目次

新しいAI分類器「GPT-3 Detector」とは

AIが生成した文章かどうかを見分ける仕組みは？

OpenAIの「AI Text Classifier」の精度を検証

今後の発展可能性

OpenAIが発表した新しいAI分類器「GPT-3 Detector」とは

OpenAIは、与えられたテキストがOpenAIの言語生成モデルであるGPT-3によって生成されたかどうかを識別できる新しいAI分類器「GPT-3 Detector」を発表しました。この分類器は、研究者やジャーナリストなどが、増え続けるAIが生成したテキストを識別・評価するのに役立ちます。

GPT-3 Detectorは、GPT-3が生成したテキストと生成していないテキストの大規模なデータセットで訓練された機械学習アルゴリズムに基づいて作られています。

このアルゴリズムは、単語の頻度や、文の構造など、テキストのさまざまな特徴を利用して、与えられたテキストがGPT-3によって生成された可能性が高いかどうかを5段階で評価します。

• ｢Likely AI-generated」（AIが書いた可能性が高い）
• ｢Possibly AI-generated」（AIが書いた可能性がある）
• ｢Unclear if it is AI written」（不明）
• ｢Unlikely to be AI-generated」（AIが書いた可能性は低い）
• ｢Very unlikely to be AI-generated」（AIが書いた可能性は極めて低い）

同社の記事によると、4回に1回の確率（26%）で「AIによって書かれた可能性が高い」と正しく識別したが、10回に1回は人間が書いた文章を｢コンピュータが書いたもの｣と誤った解答をしたことが発表されています。

AIが生成した文章かどうかを見分ける仕組みは？

　PAIoneerPRO会員に登録 ▷　
PAIoneer PRO
詳細はこちら

　会員の方はログイン▷