アメリカ最新AI情報満載!セミナーや講演情報など交えて毎週水曜配信 無料ニュースレター 下記へメールアドレスを入力し無料で登録
CLOSE
パロアルトインサイト/ PALO ALTO INSIGHT, LLC.
ブログBLOG
パロアルトインサイト/PALO ALTO INSIGHT, LLC. > ブログ > Googleが実践し提案する機械学習モデルの評価方法
Googleが実践し提案する機械学習モデルの評価方法
2022/03/23 ブログ, The Insight 
by kohei 

Googleが実践し提案する機械学習モデルの評価方法

状況が変わり続ける現場で働くAIがクリアすべき4つのテスト項目とは

今週のテーマ:技術開発

パロアルトインサイトの嶋崎です。ディープラーニングをはじめとする機械学習の有用性が、日本でも注目されるようになってきました。しかし、機械学習モデルを開発・運用する際の苦労や注意点については、あまり知られていません。そこで今回は、華やかに見えるAI活用の「地味な舞台裏」をご紹介します。

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。今回取り上げるのは、現場で活用されるAIがクリアすべきテスト項目を提示した研究です。

この記事から得られる3つのナレッジ
・AI開発現場で直面するよくある課題
・機械学習モデルに必要な4つのテスト項目
・AIモデルの開発・運用の難しさ

 

論文データ:
今回のディスカッション対象の論文をご紹介します。

タイトル:The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction
著者:Eric Breck, Shanqing Cai, Eric Nielsen, Michael Salib, D. Sculley
掲載サイト:IEEE Xplore
発行日:2018年1月15日
引用数:44
URL:https://ieeexplore.ieee.org/abstract/document/8258038

論文を選んだポイント

AI開発で重要な考え方が多く盛り込まれており、研究者やエンジニアだけでなく、ビジネスでAIを活用したい方にとっても有益な論文であるため。

この記事に登場する機械学習モデル開発のキーワード
  • データ
  • モデル
  • インフラ
  • モニタリング

 

目次

AI開発の現場で直面する課題

Google が本論文を書いた目的

機械学習モデル開発における4つのテスト項目

機械学習モデルを開発・運用する難しさ

ディープラーニング崇拝主義からの脱却

 


AI開発の現場で直面する課題

機械学習の技術を活用したAIは、すでにさまざまな分野で実用化されています。例を挙げると以下の通りです。

機械学習の応用例

  • 店舗の来店客数の予測
  • タクシーの効率的な配車
  • 道路の故障箇所の予測
  • ネット広告の効率化

 

そして、多くの企業が「自社でもAIを活用できないか」と考えて社内に専門部署を作り、独自のAIモデルを構築しようと試みています。しかし、AIモデルの開発を経験した方であれば、以下のような課題に直面したことがあるのではないでしょうか?

⚠️ 扱うデータを増やしすぎた
データの種類や分析項目が増え、モデルの正確性が落ちてしまった。開発中だけでなく開発後にも、多様な関係者があれもこれもと要求してきて、モデルがどんどん複雑化。そして、誰にも中身が理解できないAIモデルができあがった…。

⚠️ トラブルに対応できない
システム障害やデータの喪失、破損などが起きると、直近の正常に稼働していた状態に戻せない。最新バージョンごとにデータを保存していなかったため、古いバージョンで改めて開発することになってしまった。

⚠️ バグが多発
開発を進めるほど、モデルの使い勝手が悪くなってしまう。機能を増やしてモデルが複雑になったことで、動作が遅くなり、バグも発生しやすくなった

いずれもよくある事例です。こうした課題が生じる大きな原因は、機械学習モデルの開発プロセスが複雑だからです。下図は、手動でコードを書く開発の場合と比較したもので、機械学習では多くの要素が関わっている様子がわかります。

(画像引用:https://static.googleusercontent.com/media/research.google.com/ja//pubs/archive/aad9f93b86b7addfea4c419b9100c6cdd26cacea.pdf

AI開発をスムーズに進めるためには、まずは通常のコーディングによる開発との違いを理解しておきましょう。そのうえで、機械学習に対応した「開発の仕組みづくり」が必要です。

Google が本論文を書いた目的

AI活用やDXの先進企業であるGoogleといえども、前述した課題と無縁ではありません。そこでGoogleは、機械学習モデル開発の過程で役立つ「テスト」を発見しようと試みました。テストによって課題を早期に発見して対処できる「仕組み」を整えることで、開発を円滑に進めようとしたのです。

その研究成果をまとめたのが本論文であり、その執筆目的は主に以下の3つだと考えられます。

パロアルトインサイトについて

AIの活用提案から、ビジネスモデルの構築、AI開発と導入まで一貫した支援を日本企業へ提供する、石角友愛氏(CEO)が2017年に創業したシリコンバレー発のAI企業。

社名 :パロアルトインサイトLLC
設立 :2017年
所在 :米国カリフォルニア州 (シリコンバレー)
メンバー数:17名(2021年9月現在)

パロアルトインサイトHP:www.paloaltoinsight.com
お問い合わせ、ご質問などはこちらまで:info@paloaltoinsight.com

石角友愛
<CEO 石角友愛(いしずみともえ)>

2010年にハーバードビジネススクールでMBAを取得したのち、シリコンバレーのグーグル本社で多数のAI関連プロジェクトをシニアストラテジストとしてリード。その後HRテック・流通系AIベンチャーを経てパロアルトインサイトをシリコンバレーで起業。東急ホテルズ&リゾーツのDXアドバイザーとして中長期DX戦略への助言を行うなど、多くの日本企業に対して最新のDX戦略提案からAI開発まで一貫したAI・DX支援を提供する。2024年より一般社団法人人工知能学会理事及び東京都AI戦略会議 専門家委員メンバーに就任。

AI人材育成のためのコンテンツ開発なども手掛け、順天堂大学大学院医学研究科データサイエンス学科客員教授(AI企業戦略)及び東京大学工学部アドバイザリー・ボードをはじめとして、京都府アート&テクノロジー・ヴィレッジ事業クリエイターを務めるなど幅広く活動している。

毎日新聞、日経xTREND、ITmediaなど大手メディアでの連載を持ち、 DXの重要性を伝える毎週配信ポッドキャスト「Level 5」のMCや、NHKラジオ第1「マイあさ!」内「マイ!Biz」コーナーにレギュラー出演中。「報道ステーション」「NHKクローズアップ現代+」などTV出演も多数。

著書に『AI時代を生き抜くということ ChatGPTとリスキリング』(日経BP)『いまこそ知りたいDX戦略』『いまこそ知りたいAIビジネス』(ディスカヴァー・トゥエンティワン)、『経験ゼロから始めるAI時代の新キャリアデザイン』(KADOKAWA)、『才能の見つけ方 天才の育て方』(文藝春秋)など多数。

実践型教育AIプログラム「AIと私」:https://www.aitowatashi.com/
お問い合わせ、ご質問などはこちらまで:info@paloaltoinsight.com

 

※石角友愛の著書一覧

NEWSLETTERパロアルトインサイトの
無料ニュースレター

毎週水曜日、アメリカの最新AI情報が満載の
ニュースレターを無料でお届け!
その他講演情報やAI導入事例紹介、
ニュースレター登録者対象の
無料オンラインセミナーのご案内などを送ります。

BACK TO BLOG
« »
PAGE TOP