ネットフリックスはABテストの効果検証では満足しない – ビジネスインサイダー寄稿

ネットフリックスはABテストの効果検証では満足しない —— ｢Quasi Experiment｣とは何か

こんにちは。パロアルトインサイトCEO・AIビジネスデザイナーの石角友愛です。今回はネットフリックスでも活用している｢Quasi Experiment｣（クアジー・エクスペリメント＝準実験。擬似実験とも呼ばれる）に関してご紹介します。データネイティブカンパニーがいかにABテストの枠を超えてあらゆる効果検証をしているか、そのこだわりと徹底ぶりを紹介します。

皆さんがご存知のABテストは、インターネット業界でよく使われる効果検証の手法の一つです。例えば、サイトのランディングページのデザインを変えて、クリック率や登録数などのコンバージョンにどう影響を及ぼすか見たいとき、デザインAとデザインBを完全無作為に選んだユーザーグループに見せて、その効果を検証します。

｢ABテストが万能ではない｣理由

このABテストですが、ビッグデータを扱い何億人ものユーザーをかかえる会社になると、検証したい事柄によっては不向きな点があるのをご存知でしょうか。

例えば、ネットフリックスで、こんな課題を抱えていたとします。

｢新しいビデオのプロモーションをネットフリックス上で行うと同時に屋外広告（ビルボードなどを含む。いわゆるOOH＝Out of Homeの広告）で行った場合、それぞれのプロモーションの効果は相加的なものなのか、それともカニバリをするものなのか？｣

どうしてこの課題の場合、ABテストでは不向きなのでしょうか。

まず一つが、

（1）個人レベルで誰がビルボード広告を見るかを無作為に選ぶことが不可能

そして、

（2）無作為に選べて二つのグループに分けられたとしても、そのグループがどんな経験をするか（口コミを聞く、CMを目にする、またはネットフリックス独自のランキングシステムで違う結果が表示される可能性など）をコントロールできないので、因果関係が分からなくなるというものがあります。

先ほどの課題に対して、例えば、新しいビデオの屋外広告を見る人と見ない人を無作為にグループ分けすることはできません。誰がどこにいるか、広告を目にするかはコントロールできないからです。

でも、どの地域で屋外広告を見せるかをコントロールすることはできます。そして、屋外広告を出した街とそうでない街で｢登録率｣などにどんな変化があるのか見る手法を、準実験と呼びます。

もともと、準実験は医療や心理学の実験などで多く用いられる手法です。データネイティブな会社であるネットフリックスが、ABテストにこだわらず医学や行動科学の世界の実験手法も活用していることは面白い事実です。

｢効果測定がしにくい｣と懸念されがちなビルボード広告なども、準実験という手法を取り入れ過去のデータを活用して解析すれば、相関性を検証するのに近いところまで到達できるということなのです。

また、ネットフリックスは独自のCDN（Content Delivery Network、Open Connectというストリーミングを可能にするネットワーク）を開発、運用しています。

そのCDNに改善を加えたときの効果測定にも、ABテストではなく準実験を使うそうです。ユーザーレベルでランダムに改善点に触れる人とそうでない人を選ぶより、｢このサーバーには改善点を実装して、このサーバーには実装しない｣というグループ分けをして効果測定をするのです。

ネットフリックスが組織する｢実験チーム｣の姿

　PAIoneerPRO会員に登録 ▷　
PAIoneer PRO
詳細はこちら

　会員の方はログイン▷