アメリカ最新AI情報満載!セミナーや講演情報など交えて毎週水曜配信 無料ニュースレター 下記へメールアドレスを入力し無料で登録
CLOSE
パロアルトインサイト/ PALO ALTO INSIGHT, LLC.
ブログBLOG
パロアルトインサイト/PALO ALTO INSIGHT, LLC. > ブログ > BERT(自然言語処理)の学習時間を削減する「モデル圧縮」とは
BERT(自然言語処理)の学習時間を削減する「モデル圧縮」とは
2022/06/15 ブログ, The Insight 
by kohei 

BERT(自然言語処理)の学習時間を削減する「モデル圧縮」とは

「early BERT」自然言語処理AIのビジネス活用につながるアプローチ

今週のテーマ:技術開発

パロアルトインサイトの長谷川です。世界中の研究者による継続的な努力によって、AIの性能はものすごい勢いで向上しています。一方で、AIモデルが巨大化して膨大な計算が必要になり、手軽に扱えなくなっている面もあるのです。この問題を解決しようとする興味深いアプローチを紹介します。

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。今回取り上げるのは、AIモデルをコンパクトにして、計算コストを減らそうとする試みです。

この記事から得られる3つのナレッジ
・自然言語処理AI「BERT」の画期的な点
・「宝くじ仮説」のユニークな考え方
・学習時間削減に向けた新たな考え

論文データ:

今回のディスカッション対象の論文をご紹介します。

タイトル:EarlyBERT: Efficient BERT Training via Early-bird Lottery Tickets
著者:Xiaohan Chen, Yu Cheng, Shuohang Wang, Zhe Gan, Zhangyang Wang, Jingjing Liu
掲載サイト:ACL Anthology
発行日:2021年8月
引用数:
URL:https://aclanthology.org/2021.acl-long.171/

?この論文を選んだポイント
AIモデルの計算負荷を減らし、ビジネスへの応用を後押しする意義深い研究であるため。
?この記事に登場する技術キーワード
  • 自然言語処理
関連記事「Tokenizer(トークナイザ)とは何か?なぜ、日本語はAIにとって難しいとされているのか
  • BERT(Bidirectional Encoder Representations from Transformers)
  • 宝くじ仮説(The Lottery Ticket Hypothesis)

目次

画期的な自然言語処理AI「BERT」

モデル圧縮を可能にする「宝くじ仮説」

「early BERT」によるモデル圧縮

AIビジネスデザイナーのワンポイントアドバイス


画期的な自然言語処理AI「BERT」

今回のディスカッション対象の論文は「early BERT」という手法についてです。

その解説の前に、前提知識として「BERT」と「宝くじ仮説」の紹介をしていきます。まずはBERTから見ていきましょう。

BERTとは

BERTはGoogleが開発した自然言語処理AIで、2019年に発表されました。「Bidirectional Encoder Representations from Transformers」を略してBERTと呼ばれています。

ディープラーニングモデルによって大量の文章から学習したBERTは、以下のようなタスクを行うことが可能です。

?BERT で可能なタスク
  • 翻訳
  • 文章分類
  • 感情分析
  • 質問回答予測
  • 固有表現抽出(タグ付け)

BERTは研究段階での学習精度が高いだけでなく、ビジネスへの適応性が非常に高いという特徴があります。実際にGoogleの検索サービスに導入され、ユーザーが知りたがっている情報を正しく認識して、以前よりも適切な検索結果を表示する成果を得ました。

なお自然言語処理については、過去記事「Tokenizer(トークナイザ)とは何か?なぜ、日本語はAIにとって難しいとされているのか」で詳しく解説しています。

従来のAIよりビジネスで活用しやすい

BERTは「汎用性」を獲得した点が画期的でした。

従来の自然言語処理AIは、翻訳や質問回答予測など各タスクに対して、それぞれ専用のモデルを用意する必要がありました。一方BERTなら、学習済みのモデルを1つ用意すれば、あらゆるタスクに対応できるのです。

1つのモデルでさまざまな問題に対応できるようになったことで、ビジネスの現場で使いやすくなりました。

さらにBERTには、ビジネスへの応用を手助けする仕組みが用意されています。事前に基礎的な学習を終えた「Pre-Training BERTモデル」がインターネット上で公開されており、誰でも自由に利用できるのです。

これにより、利用者は少ない学習で高精度のモデルを完成させられます。おかげで大量の学習用データを保有していない企業でも、AIを導入しやすくなりました

このような特徴を持つBERTの登場は、自然言語処理AIのビジネスへの応用を大きく後押ししたのです。なおBERTについては、「最先端自然言語モデルB E R Tとは」としてパロアルトインサイトのブログで前編後編にわたって解説しているので、ぜひあわせてお読みください。

モデル圧縮を可能にする「宝くじ仮説」

次に、early BERTの研究を触発した「宝くじ仮説」を紹介します。

https://www.paloaltoinsight.com/membership-checkout/?level=4
https://www.paloaltoinsight.com/membership-checkout/?level=4

 PAIoneerPRO会員に登録 ▷ 
PAIoneer PRO
詳細はこちら

 会員の方はログイン▷ 

パロアルトインサイトについて

AIの活用提案から、ビジネスモデルの構築、AI開発と導入まで一貫した支援を日本企業へ提供する、石角友愛氏(CEO)が2017年に創業したシリコンバレー発のAI企業。

社名 :パロアルトインサイトLLC
設立 :2017年
所在 :米国カリフォルニア州 (シリコンバレー)
メンバー数:17名(2021年9月現在)

パロアルトインサイトHP:www.paloaltoinsight.com
お問い合わせ、ご質問などはこちらまで:info@paloaltoinsight.com

石角友愛
<CEO 石角友愛(いしずみともえ)>

2010年にハーバードビジネススクールでMBAを取得したのち、シリコンバレーのグーグル本社で多数のAI関連プロジェクトをシニアストラテジストとしてリード。その後HRテック・流通系AIベンチャーを経てパロアルトインサイトをシリコンバレーで起業。データサイエンティストのネットワークを構築し、日本企業に対して最新のAI戦略提案からAI開発まで一貫したAI支援を提供。東急ホテルズ&リゾーツ株式会社が擁する3名のDXアドバイザーの一員として中長期DX戦略について助言を行う。

AI人材育成のためのコンテンツ開発なども手掛け、順天堂大学大学院医学研究科データサイエンス学科客員教授(AI企業戦略)及び東京大学工学部アドバイザリー・ボードをはじめとして、京都府アート&テクノロジー・ヴィレッジ事業クリエイターを務めるなど幅広く活動している。

毎日新聞、日経xTREND、ITmediaなど大手メディアでの連載を持ち、 DXの重要性を伝える毎週配信ポッドキャスト「Level 5」のMCや、NHKラジオ第1「マイあさ!」内「マイ!Biz」コーナーにレギュラー出演中。「報道ステーション」「NHKクローズアップ現代+」などTV出演も多数。

著書に『いまこそ知りたいDX戦略』『いまこそ知りたいAIビジネス』(ディスカヴァー・トゥエンティワン)、『経験ゼロから始めるAI時代の新キャリアデザイン』(KADOKAWA)、『才能の見つけ方 天才の育て方』(文藝春秋)など多数。

※石角友愛の著書一覧

NEWSLETTERパロアルトインサイトの
無料ニュースレター

毎週水曜日、アメリカの最新AI情報が満載の
ニュースレターを無料でお届け!
その他講演情報やAI導入事例紹介、
ニュースレター登録者対象の
無料オンラインセミナーのご案内などを送ります。

BACK TO BLOG
« »
PAGE TOP