Googleが実践し提案する機械学習モデルの評価方法

目次

AI開発の現場で直面する課題

Google が本論文を書いた目的

機械学習モデル開発における４つのテスト項目

機械学習モデルを開発・運用する難しさ

ディープラーニング崇拝主義からの脱却

AI開発の現場で直面する課題

機械学習の技術を活用したAIは、すでにさまざまな分野で実用化されています。例を挙げると以下の通りです。

機械学習の応用例

• 店舗の来店客数の予測
• タクシーの効率的な配車
• 道路の故障箇所の予測
• ネット広告の効率化

そして、多くの企業が「自社でもAIを活用できないか」と考えて社内に専門部署を作り、独自のAIモデルを構築しようと試みています。しかし、AIモデルの開発を経験した方であれば、以下のような課題に直面したことがあるのではないでしょうか？

⚠️ 扱うデータを増やしすぎた
データの種類や分析項目が増え、モデルの正確性が落ちてしまった。開発中だけでなく開発後にも、多様な関係者があれもこれもと要求してきて、モデルがどんどん複雑化。そして、誰にも中身が理解できないAIモデルができあがった…。

⚠️ トラブルに対応できない
システム障害やデータの喪失、破損などが起きると、直近の正常に稼働していた状態に戻せない。最新バージョンごとにデータを保存していなかったため、古いバージョンで改めて開発することになってしまった。

⚠️ バグが多発
開発を進めるほど、モデルの使い勝手が悪くなってしまう。機能を増やしてモデルが複雑になったことで、動作が遅くなり、バグも発生しやすくなった。

いずれもよくある事例です。こうした課題が生じる大きな原因は、機械学習モデルの開発プロセスが複雑だからです。下図は、手動でコードを書く開発の場合と比較したもので、機械学習では多くの要素が関わっている様子がわかります。

（画像引用：https://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/aad9f93b86b7addfea4c419b9100c6cdd26cacea.pdf）

AI開発をスムーズに進めるためには、まずは通常のコーディングによる開発との違いを理解しておきましょう。そのうえで、機械学習に対応した「開発の仕組みづくり」が必要です。

Google が本論文を書いた目的

AI活用やDXの先進企業であるGoogleといえども、前述した課題と無縁ではありません。そこでGoogleは、機械学習モデル開発の過程で役立つ「テスト」を発見しようと試みました。テストによって課題を早期に発見して対処できる「仕組み」を整えることで、開発を円滑に進めようとしたのです。

その研究成果をまとめたのが本論文であり、その執筆目的は主に以下の3つだと考えられます。