アメリカ最新AI情報満載!セミナーや講演情報など交えて毎週水曜配信 無料ニュースレター 下記へメールアドレスを入力し無料で登録
CLOSE
パロアルトインサイト/ PALO ALTO INSIGHT, LLC.

ブログBLOG

パロアルトインサイト/PALO ALTO INSIGHT, LLC. > ブログ > AI開発:ディープラーニングにおける次元の呪いとは?

AI開発:ディープラーニングにおける次元の呪いとは?

2021/12/15 ブログ 
by kohei 

“ディープラーニングのゴッドファザー”ことヒントン教授が生み出した次元削減

 シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。今回は、ディープラーニングの第一人者であるトロント大学とGoogle Brainに籍を置くGeoffrey Hinton(ジェフリー・ヒントン)教授らによる論文『Reducing the Dimensionality of Data with Neural Networks』から、Auto-encorder(自己符号化器、オートエンコーダ)ついてご紹介します。

論文データ:
今回のディスカッション対象の論文とブログ記事をご紹介します。

論文タイトル:『Reducing the Dimensionality of Data with Neural Networks』
著者: G. E. Hinton and R. R. Salakhutdinov
掲載誌:Science, Vol 313, Issue 5786, 504-507ページ
https://www.science.org/doi/abs/10.1126/science.1127647
発行日:2006年7月28日
引用数:16349
URL:http://www.cs.toronto.edu/~hinton/science.pdf

この記事から得られる3つのナレッジ

 

目次
イントロダクション
「ディープラーニングのゴッドファーザー」ジェフリー・ヒントン教授のすごさ
AI開発に欠かせないコンセプト「次元」とは何か?
ビッグデータ集めなきゃいけない病の罠、「次元の呪い」
オートエンコーダーが次元削減に適している理由

ポイント:Back propagation(バックプロパゲーション:誤差逆伝播法)とは
ポイント:PCA(Principal Component Analysis:主成分分析)とは

論文に記載された実験の紹介
データサイエンティストによる論文についてのディスカッション

  No Free Lunchの定理(ノーフリーランチ定理)
オートエンコーダが適しているケースはどんなケースか

AIビジネスデザイナーのワンポイントアドバイス

  大企業に蔓延する「データ集めなきゃいけない病」とは?
データ集めは最初の0.8歩に過ぎない

 

イントロダクション

 現在では、Machine Learning(機械学習)の代名詞になりつつあるDeep Learning(深層学習、ディープラーニング)。そのディープラーニング発展の経緯として、エポックメイキングなタイミングが2度あると言われています。

 ヒントン教授が開発に貢献したディープラーニングは、入力と出力の間に複数の中間層を持つ階層の数が多い(深い)、Neural Network(生物の神経回路網を模したニューラルネットワーク)をモデルとした機械学習で利用される手法の一つです。この手法は、それまで不可能とされてきた、コンピューター自身による特徴量(特徴を表すデータ)の抽出を可能とした点で画期的であり、広く注目を浴びました。ディープラーニングは、教師あり、教師なし、強化学習のいずれかに分類されるものではなく、そのすべてに活用が可能です。

「ディープラーニングのゴッドファーザー」ジェフリー・ヒントン教授のすごさ

 ここで、この論文を書いたヒントン教授のことを改めてご紹介します。AIやディープラーニングに少しでも興味がある人の中では、知らない人はいない研究者ではないでしょうか。

1947年12月英国生まれのヒントン博士は、1970年にケンブリッジ大学で実験心理学学士号、78年にエジンバラ大学で人工知能博士号をそれぞれ取得。87年にトロント大学のコンピューターサイエンス学部教授に就任しました。

参照:ヒントン教授の歴史

 その後、2002年に新たな高速学習アルゴリズムを発表するなど、AIが膨大なデータを効率的に処理することを可能にしたことで、ディープラーニングの飛躍的な進化を実現しました。さらに09年に「多層ニューラルネットワーク」によって音声認識技術の劇的な性能向上を、12年には「深層畳み込みニューラルネットワーク」によって従来の画像認識技術を超える精度をそれぞれ実現するなど、ディープラーニングを使ったコンピューター技術に革命をもたらした人物と言われています。(参考

AI開発に欠かせないコンセプト「次元」とは何か?

 本論文で取り上げられている「Auto-encoder」(自己符号化器、オートエンコーダ)は、教師なしのニューラルネットワークの1つです。データを効率的に圧縮・符号化(一定の規則に従ってデータに置き換えること、エンコード)する方法を学習し、次元を下げます。ここで大事なのが、次元とは何か?なぜ次元を「下げる」必要があるのか?ということです。

本記事
著:
ディスカッション:
構成:
編集協力:

おすすめ/関連記事こちらの記事も合わせてどうぞ

パロアルトインサイトについて

AIの活用提案から、ビジネスモデルの構築、AI開発と導入まで一貫した支援を日本企業へ提供する、石角友愛氏(CEO)が2017年に創業したシリコンバレー発のAI企業。

社名 :パロアルトインサイトLLC
設立 :2017年
所在 :米国カリフォルニア州 (シリコンバレー)
メンバー数:17名(2021年9月現在)

石角友愛
<CEO 石角友愛(いしずみともえ)>

2010年にハーバードビジネススクールでMBAを取得したのち、シリコンバレーのグーグル本社で多数のAI関連プロジェクトをシニアストラテジストとしてリード。その後HRテック・流通系AIベンチャーを経てパロアルトインサイトをシリコンバレーで起業。データサイエンティストのネットワークを構築し、日本企業に対して最新のAI戦略提案からAI開発まで一貫したAI支援を提供。AI人材育成のためのコンテンツ開発なども手掛け、順天堂大学大学院医学研究科データサイエンス学科客員教授(AI企業戦略)及び東京大学工学部アドバイザリー・ボードをはじめとして、京都府アート&テクノロジー・ヴィレッジ事業クリエイターを務めるなど幅広く活動している。また、毎日新聞「石角友愛のシリコンバレー通信」、ITメディア「石角友愛とめぐる、米国リテール最前線」など大手メディアでの寄稿連載を多く持ち、最新のIT業界に関する情報を発信している。「報道ステーション」「NHKクローズアップ現代+」などTV出演も多数。

著書に『いまこそ知りたいDX戦略』『いまこそ知りたいAIビジネス』(ディスカヴァー・トゥエンティワン)、『経験ゼロから始めるAI時代の新キャリアデザイン』(KADOKAWA)、『才能の見つけ方 天才の育て方』(文藝春秋)など多数。

パロアルトインサイトHP:www.paloaltoinsight.com
お問い合わせ、ご質問などはこちらまで:info@paloaltoinsight.com
※石角友愛の著書一覧

NEWSLETTERパロアルトインサイトの
無料ニュースレター

毎週水曜日、アメリカの最新AI情報が満載の
ニュースレターを無料でお届け!
その他講演情報やAI導入事例紹介、
ニュースレター登録者対象の
無料オンラインセミナーのご案内などを送ります。

BACK TO BLOG
« »
PAGE TOP