大規模言語モデルとは？一般企業も注目のオープンソース「BLOOM」を解説

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。今回取り上げるのは、自然言語処理AIの分野における国際的なプロジェクトです。

まずは大規模言語モデル「BLOOM」を生み出したBigScienceプロジェクトと、Hugging Faceについて紹介します。

BigScienceは、大規模言語モデル（LLM：Large Language Model）の国際的な研究プロジェクトです。

その目的は、自由に使えるLLM（Large Language Model）を世界中の研究者に提供して、AI研究を促進すること。素粒子物理学の分野における「CERN」や「LHC」のプロジェクトに着想を得て発足されました。

BigScienceで中心的な役割を担っているのは、以下の3つの組織です。

プロジェクトは2021年5月から2022年5月まで、世界60ヶ国の250以上の機関から1,000人以上の研究者が協力して実施されました。AI研究のプロジェクトとしては、過去に例がないほど巨大な規模です。

Hugging Face社は、著名なオープンソースプラットフォームである「Hugging Face」を運営しています。BLOOMはHugging Face上のこちらのページで公開されており、誰でもアクセス可能です。

Hugging Face社は2016年に創業され、拠点はニューヨークにあります。当初Hugging Face社は、自社での対話型AIの開発を目指していました。しかし、その後に方針を転換。自社の自然言語処理（NLP：Natural Language Processing）技術をオープンソースで提供するようになっていきました。

Hugging Face社は、2019年にNLPモデル「Transformers」を発表したことで有名になりました。いまではNLPに限らず、機械学習モデルに関するあらゆるものがHugging Face上で公開され、世界中の開発者に活用されています。

なおNLPについては、過去記事「Tokenizer（トークナイザ）とは何か？なぜ、日本語はAIにとって難しいとされているのか」で詳しく解説しています。ぜひあわせてお読みください。

BLOOMはBigScienceによって開発されたLLM（Large Language Model）です。そもそもLLMとは何かについて解説し、さらにBLOOMの特徴を紹介します。

LLMは端的に言えば、事前に学習した文章に基づいて単語を予測する統計ツールです。LLMを使うことで、AIは以下のようなタスクを行えます。

これらの組み合わせによって、チャットボットや自動翻訳など、ビジネスでさまざまなサービスを提供できます。

しかし、LLMの開発には莫大なコストがかかるため、一般の研究者の手には負えず、以下のような大企業によって独占されてきました。

そこでオープンソースで誰でも自由に使えるLLMを求めて、BigScienceプロジェクトが立ち上げられたのです。