アメリカ最新AI情報満載!セミナーや講演情報など交えて毎週水曜配信 無料ニュースレター 下記へメールアドレスを入力し無料で登録
CLOSE
パロアルトインサイト/ PALO ALTO INSIGHT, LLC.
パロアルトインサイト/PALO ALTO INSIGHT, LLC. > ブログ > AI開発:ディープラーニングにおける次元の呪いとは?
投稿日:2021/12/15 更新日: 2023/05/22 by kohei

“ディープラーニングのゴッドファザー”ことヒントン教授が生み出した次元削減

 シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。今回は、ディープラーニングの第一人者であるトロント大学とGoogle Brainに籍を置くGeoffrey Hinton(ジェフリー・ヒントン)教授らによる論文『Reducing the Dimensionality of Data with Neural Networks』から、Auto-encorder(自己符号化器、オートエンコーダ)ついてご紹介します。

論文データ:
今回のディスカッション対象の論文とブログ記事をご紹介します。

論文タイトル:『Reducing the Dimensionality of Data with Neural Networks』
著者: G. E. Hinton and R. R. Salakhutdinov
掲載誌:Science, Vol 313, Issue 5786, 504-507ページ
https://www.science.org/doi/abs/10.1126/science.1127647
発行日:2006年7月28日
引用数:16349
URL:http://www.cs.toronto.edu/~hinton/science.pdf

この記事から得られる3つのナレッジ

 

目次
イントロダクション
「ディープラーニングのゴッドファーザー」ジェフリー・ヒントン教授のすごさ
AI開発に欠かせないコンセプト「次元」とは何か?
ビッグデータ集めなきゃいけない病の罠、「次元の呪い」
オートエンコーダーが次元削減に適している理由

ポイント:Back propagation(バックプロパゲーション:誤差逆伝播法)とは
ポイント:PCA(Principal Component Analysis:主成分分析)とは

論文に記載された実験の紹介
データサイエンティストによる論文についてのディスカッション

  No Free Lunchの定理(ノーフリーランチ定理)
オートエンコーダが適しているケースはどんなケースか

AIビジネスデザイナーのワンポイントアドバイス

  大企業に蔓延する「データ集めなきゃいけない病」とは?
データ集めは最初の0.8歩に過ぎない

 

イントロダクション

 現在では、Machine Learning(機械学習)の代名詞になりつつあるDeep Learning(深層学習、ディープラーニング)。そのディープラーニング発展の経緯として、エポックメイキングなタイミングが2度あると言われています。

  • 1度目のタイミングは2006年です。2006年にヒントン教授らにより、ディープラーニングに関する重要な論文が2件発表され、現行のディープラーニングのコンセプトや先駆的技法が生み出されました。そのうちの1件が今回ご紹介する論文『Reducing the Dimensionality of Data with Neural Networks』です。
  • 2度目のタイミングは、ImageNetによるILSVRC(ImageNet Large Scale Visual Recognition Challenge)画像認識コンペティションにおいて、2012年に同じくヒントン教授のチームによるディープラーニングが画像認識率で飛躍的な成果を上げたこと、さらにそれらが世界中で話題になったことでディープラーニングの技術と成果が広く認知されたことであると言われています。詳しくは、The Insightの「メタバースや自動運転の世界で必要になる動画を使ったリアルタイム行動予測」をご覧ください。

 ヒントン教授が開発に貢献したディープラーニングは、入力と出力の間に複数の中間層を持つ階層の数が多い(深い)、Neural Network(生物の神経回路網を模したニューラルネットワーク)をモデルとした機械学習で利用される手法の一つです。この手法は、それまで不可能とされてきた、コンピューター自身による特徴量(特徴を表すデータ)の抽出を可能とした点で画期的であり、広く注目を浴びました。ディープラーニングは、教師あり、教師なし、強化学習のいずれかに分類されるものではなく、そのすべてに活用が可能です。

「ディープラーニングのゴッドファーザー」ジェフリー・ヒントン教授のすごさ

 ここで、この論文を書いたヒントン教授のことを改めてご紹介します。AIやディープラーニングに少しでも興味がある人の中では、知らない人はいない研究者ではないでしょうか。

1947年12月英国生まれのヒントン博士は、1970年にケンブリッジ大学で実験心理学学士号、78年にエジンバラ大学で人工知能博士号をそれぞれ取得。87年にトロント大学のコンピューターサイエンス学部教授に就任しました。

参照:ヒントン教授の歴史

出典:WIRED

 その後、2002年に新たな高速学習アルゴリズムを発表するなど、AIが膨大なデータを効率的に処理することを可能にしたことで、ディープラーニングの飛躍的な進化を実現しました。さらに09年に「多層ニューラルネットワーク」によって音声認識技術の劇的な性能向上を、12年には「深層畳み込みニューラルネットワーク」によって従来の画像認識技術を超える精度をそれぞれ実現するなど、ディープラーニングを使ったコンピューター技術に革命をもたらした人物と言われています。(参考

AI開発に欠かせないコンセプト「次元」とは何か?

おすすめ/関連記事こちらの記事も合わせてどうぞ

パロアルトインサイトについて

AIの活用提案から、ビジネスモデルの構築、AI開発と導入まで一貫した支援を日本企業へ提供する、石角友愛氏(CEO)が2017年に創業したシリコンバレー発のAI企業。

社名 :パロアルトインサイトLLC
設立 :2017年
所在 :米国カリフォルニア州 (シリコンバレー)
メンバー数:17名(2021年9月現在)

パロアルトインサイトHP:www.paloaltoinsight.com
お問い合わせ、ご質問などはこちらまで:info@paloaltoinsight.com

石角友愛
<CEO 石角友愛(いしずみともえ)>

2010年にハーバードビジネススクールでMBAを取得したのち、シリコンバレーのグーグル本社で多数のAI関連プロジェクトをシニアストラテジストとしてリード。その後HRテック・流通系AIベンチャーを経てパロアルトインサイトをシリコンバレーで起業。データサイエンティストのネットワークを構築し、日本企業に対して最新のAI戦略提案からAI開発まで一貫したAI支援を提供。東急ホテルズ&リゾーツ株式会社が擁する3名のDXアドバイザーの一員として中長期DX戦略について助言を行う。

AI人材育成のためのコンテンツ開発なども手掛け、順天堂大学大学院医学研究科データサイエンス学科客員教授(AI企業戦略)及び東京大学工学部アドバイザリー・ボードをはじめとして、京都府アート&テクノロジー・ヴィレッジ事業クリエイターを務めるなど幅広く活動している。

毎日新聞、日経xTREND、ITmediaなど大手メディアでの連載を持ち、 DXの重要性を伝える毎週配信ポッドキャスト「Level 5」のMCや、NHKラジオ第1「マイあさ!」内「マイ!Biz」コーナーにレギュラー出演中。「報道ステーション」「NHKクローズアップ現代+」などTV出演も多数。

著書に『いまこそ知りたいDX戦略』『いまこそ知りたいAIビジネス』(ディスカヴァー・トゥエンティワン)、『経験ゼロから始めるAI時代の新キャリアデザイン』(KADOKAWA)、『才能の見つけ方 天才の育て方』(文藝春秋)など多数。

※石角友愛の著書一覧

NEWSLETTERパロアルトインサイトの
無料ニュースレター

毎週水曜日、アメリカの最新AI情報が満載の
ニュースレターを無料でお届け!
その他講演情報やAI導入事例紹介、
ニュースレター登録者対象の
無料オンラインセミナーのご案内などを送ります。

BACK TO BLOG
« »
PAGE TOP