アメリカ最新AI情報満載!セミナーや講演情報など交えて毎週水曜配信 無料ニュースレター 下記へメールアドレスを入力し無料で登録
CLOSE
パロアルトインサイト/ PALO ALTO INSIGHT, LLC.

ブログBLOG

パロアルトインサイト/PALO ALTO INSIGHT, LLC. > ブログ > 強化学習をビジネスに応用するには?

強化学習をビジネスに応用するには?

2021/12/29 ブログ 
by kohei 

強化学習をビジネスに応用するには?


教師データのラベル付け作業は手間もコストもかかりますーその問題の解決策としても、ラベル付けを必要としない強化学習という手法にビジネス現場からの注目が集まっています。どこまで応用可能なのでしょうか?超えなければいけない課題などはあるのでしょうか?


今週のテーマ:技術開発

こんにちは。パロアルトインサイトCEOの石角友愛です。

未来を見据えて、ビジョンを描く。描いたビジョンから逆算する形でバックキャスティングをして、今、どんな技術を会社として持っておくべきなのかを明確にする。技術開発とは会社の競争力そのものであり、コア事業そのものです。

今回は、先週に引き続きAlphaGoを紐解いていきます。後半はAlphaGoで使用される深層強化学習などビジネスへの応用はどのようなものがあるか考察し、データサイエンティストの見解や、事例などご紹介します。

先週のAlphaGo 前半はこちらよりお読みください。

 

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。前回に引き続き、ビジネスの現場でも話題になることが多い、「AlphaGo」についての論文をご紹介します。前編では、AlphaGoが開発された背景、開発者のDeepMindの技術者であるDemis Hasabis とDavid Silverの経歴、AlphaGoの基本的な技術設計についてご紹介しました。AlphaGoでは、ディープラーニングと強化学習という二つの技術を上手にハイブリッド化したことが成功の要因であることを述べました。AlphaGo以前も、たくさんの技術者や研究者がディープラーニングと強化学習をかけあわせる努力はしていましたが、ブレークスルーを起こしたのはDeepMindのAlphaGoだったと言っても過言ではありません。

今回ご紹介する後編では、AlphaGoの根幹技術である強化学習をビジネスの現場でどのように応用できるか、色々と考察してみたいと思います。

論文データ:

論文タイトル:Mastering the game of Go with deep neural networks and tree search 『ディープ・ニューラルネットワークとツリー検索で囲碁のゲームをマスターする』
著者:Silver, D., Huang, A., Maddison, C. et al.
掲載サイト:Nature 529, 484–489 (2016)
発行日:2016年1月27日
引用数:4969
URL:https://www.nature.com/articles/nature16961

この記事から得られる3つのナレッジ
・2016年以降の「AlphaGo」や、ディープマインド社の取り組み
・「AlphaGo」の根幹技術である強化学習のビジネス応用の課題
・強化学習のビジネス応用の可能性

 

目次

「AlphaGo」のその後

「AlphaGo」はビジネスに応用できるか?その課題点とは

データサイエンティストのディスカッションポイント:強化学習のビジネス応用がいますぐ期待できる領域はどこか

  1. ヘルスケア分野

  2. データセンターとインフラ分野

  3.仮想通貨

  4.エネルギー

  5.ファイナンス

  6. 広告配信

AIビジネスデザイナーからのワンポイントアドバイス

  強化学習は意思決定の科学だ

  顧客の「後悔」を数値化してビジネスに生かす

 

「AlphaGo」のその後

 「AlphaGo」プロジェクトは、その後さらに進化をしていきました。あるとき、ネットの囲碁ゲームに「マスター」という名の棋士が現れました。そのマスターがあまりにも強いので、ゲーマーたちの間で「マスターは『AlphaGo」ではないか」と噂になったことがあります。のちにそのマスターは、「AlphaGo Zero」のβ版であることがわかったというエピソードがあります。さらに、同様のアルゴリズムを囲碁だけではなく、将棋やチェスにも応用できることを証明しました。

 その後、デミス・ハサビスは、アメリカで人気のゲーム「スタークラフト」にも、AIを活用しはじめました。このゲームはマルチプレイヤーで対戦するタイプのゲームでしたが、そこでもやはり、アルファスターというAIを作り、人間のプレイヤーに対する優位性を示しています。

「AlphaGo」はビジネスに応用できるか ?その課題点とは

 以上のように、「AlphaGo」に使われた学習は、非常に画期的なブレイクスルーだったのですが、ビジネスに応用性があるかというと、解決しなければいけない課題点がいくつかあります。AlphaGoは、囲碁という明確に定義された環境と条件の中で「勝ち」を最大化するものでしたが、ビジネスはボードゲームと違って、環境を定義づけることが極めて難しいことが理由の一つとして挙げられます。ビジネスの現場は、人生ゲームやモノポリーゲームのように、ルールや持ち駒、予算が決まっているゲームではありません。何を持って「勝ち」とするのかの定義もありません。第一、囲碁や将棋といった「このような環境下で、このような条件で、このようなルールで勝ちを取りに行ってください」ということが明言化できますが、ビジネスはそうではありません。

 たとえば、トラックの配車AIを考えてみましょう。この場合、明日突然、荷物の配送先が50件増えるかもしれません。雪が降って渋滞するかもしれませんし、ドライバーが風邪で休むかもしれません。このように、常に条件が変わるのが、ビジネスの現場です。

 こういった、環境の定義が明確ではないビジネスにおいては、「AlphaGo」に採用された技術は応用が難しいのではないかというのが、パロアルトインサイトのエンジニアたちの意見でした。「AlphaGo」で採用されたような強化学習よりも、教師あり学習データの方が現場や事業特有の課題解決を求められるビジネスの現場には合っている場合が多いと言えそうです。

データサイエンティストのディスカッションポイント:強化学習のビジネス応用が今すぐ期待できる領域はどこか?

1. ヘルスケア分野

 「AlphaGo」を開発したディープマインド社は、強化学習を応用してヘルスケア分野でゲノム解析を行なっています。このような顕微鏡やラボラトリーの中の研究においては、「AlphaGo」のような強化学習も応用しやすいかもしれません。例えば、現在「AlphaGo」を開発したディープマインド社はGoogle傘下にいますが、GoogleがAIを使った創薬事業を手掛ける新会社「Isomorphic Labs 」を設立すると発表していて、その代表をデミス・ハサビスが兼務するとのことです。サイト内ではデミス・ハサビスは「私たちは、AIファーストのアプローチで、第一原理から創薬プロセス全体を再考しています。」と記載しつつも多くを語ってはいません。

デジタル生物学」の新たな分野のパイオニアとして、私たちは生物医学のブレークスルーの驚くほど生産的な新時代の到来を告げる手助けをすることを楽しみにしています。 AIを使用して創薬を加速し、最終的には人類の最も破壊的な病気の治療法を見つけることがIsomorphicの使命として重要だ。」と記載されており、今後の活躍が期待されます。 (参照:https://www.isomorphiclabs.com/blog

 

続きはThe Insight へご登録しお読みください。

The Insight の登録はこちらから

パロアルトインサイトについて

AIの活用提案から、ビジネスモデルの構築、AI開発と導入まで一貫した支援を日本企業へ提供する、石角友愛氏(CEO)が2017年に創業したシリコンバレー発のAI企業。

社名 :パロアルトインサイトLLC
設立 :2017年
所在 :米国カリフォルニア州 (シリコンバレー)
メンバー数:17名(2021年9月現在)

石角友愛
<CEO 石角友愛(いしずみともえ)>

2010年にハーバードビジネススクールでMBAを取得したのち、シリコンバレーのグーグル本社で多数のAI関連プロジェクトをシニアストラテジストとしてリード。その後HRテック・流通系AIベンチャーを経てパロアルトインサイトをシリコンバレーで起業。データサイエンティストのネットワークを構築し、日本企業に対して最新のAI戦略提案からAI開発まで一貫したAI支援を提供。AI人材育成のためのコンテンツ開発なども手掛け、順天堂大学大学院医学研究科データサイエンス学科客員教授(AI企業戦略)及び東京大学工学部アドバイザリー・ボードをはじめとして、京都府アート&テクノロジー・ヴィレッジ事業クリエイターを務めるなど幅広く活動している。また、毎日新聞「石角友愛のシリコンバレー通信」、ITメディア「石角友愛とめぐる、米国リテール最前線」など大手メディアでの寄稿連載を多く持ち、最新のIT業界に関する情報を発信している。「報道ステーション」「NHKクローズアップ現代+」などTV出演も多数。

著書に『いまこそ知りたいDX戦略』『いまこそ知りたいAIビジネス』(ディスカヴァー・トゥエンティワン)、『経験ゼロから始めるAI時代の新キャリアデザイン』(KADOKAWA)、『才能の見つけ方 天才の育て方』(文藝春秋)など多数。

パロアルトインサイトHP:www.paloaltoinsight.com
お問い合わせ、ご質問などはこちらまで:info@paloaltoinsight.com
※石角友愛の著書一覧

NEWSLETTERパロアルトインサイトの
無料ニュースレター

毎週水曜日、アメリカの最新AI情報が満載の
ニュースレターを無料でお届け!
その他講演情報やAI導入事例紹介、
ニュースレター登録者対象の
無料オンラインセミナーのご案内などを送ります。

BACK TO BLOG
« »
PAGE TOP