【後編】OpenAIの音声認識モデル「Whisper」のデータセットと学習方法

今週のテーマ：技術開発

OpenAIが音声認識に関する新たなアプローチを提唱した論文「Robust Speech Recognition via Large-Scale Weak Supervision」で紹介された、教師あり学習と教師なし学習の中間に位置する「弱教師あり学習」という新たな手法について紹介します。

前編では、弱教師あり学習についてや、音声認識研究の歴史を紹介しました。後編の今回は、Whisper の学習データセットと学習方法、マルチモーダル学習と弱教師付き音声認識、そして、弱教師あり学習の可能性について紹介します。

💡 この記事から得られる３つのナレッジ

・ダイナミックタイムワーピング
・弱教師学習を用いた音声認識の利点
・音声認識技術の可能性

論文タイトル：Robust Speech Recognition via Large-Scale Weak Supervision
発行日：2022年 9月21日
URL：https://cdn.openai.com/papers/whisper.pdf

目次

68万時間にも及ぶデータセットと学習方法

マルチモーダル学習と弱教師付き音声認識

弱教師あり学習の可能性

OpenAIの研究者らは論文「Robust Speech Recognition via Large-Scale Weak Supervision」を発表し、弱教師あり学習（weakly supervised learning）を用いた音声処理システムの能力を調査しています。これはインターネット上の存在する680,000時間に及ぶ多言語・多タスクのデータセットを使用したモデルで、標準的なベンチマークにおいて先行する完全教師あり学習の結果と競るほど良好な結果を出しました。後編では、そのモデルがどのようなデータセットで学習されたのか、解説していきます。

68万時間にも及ぶデータセットと学習方法

論文では、このモデルの学習方法としてインターネットから集めた68万時間分の音声データを使って、音声認識モデルを学習する方法が述べられています。このデータセットには多様な言語や状況からの音声とその文章化（トランスクリプト）が含まれています。

研究者たちはこの大量のデータを整理し、音声とトランスクリプトをきちんと結びつける前処理を行います。その一部として、音声をメルスペクトログラム（視覚的に音声を表現する方法）へと変換し、ランダムクロッピングやノイズ注入といったテクニックを用いて音声データの多様性を増やします。そこからさらに、ダイナミックタイムワーピングという技術を使い、音声とトランスクリプトをきちんと整列させていきます。

こうして整理されたデータから特徴を学び取るために、「Conformer」という特殊なニューラルネットワークの設計を使用し、これによって長時間に渡る音声の特徴をより効率的に学び取ることができます。

モデルの学習には、CTC（Connectionist Temporal Classification）という特殊な損失関数を使用しており、入力した音声と、出力するトランスクリプトの間の正確な整列をしなくともに、一連の音声から文章を予測する能力をモデルに学ばせてるといいます。この研究で得られた音声認識モデルは、特別な調整や状況に合わせた変更（ドメイン適応）なしに、いくつかの標準的なベンチマーク（LibriSpeech、CommonVoice、Switchboardなど）で競争力のある結果を得ることができると示されています。

マルチモーダル学習と弱教師付き音声認識

　PAIoneerPRO会員に登録 ▷　
PAIoneer PRO
詳細はこちら

　会員の方はログイン▷　

弱教師あり学習によるデータ不足への対処法

訓練データ量を劇的に減らす新たな機械学習

機械学習領域でAWSのポジションを狙う「ScaleAI」の挑戦

AIがもたらす調達業界の未来と課題