アメリカ最新AI情報満載!セミナーや講演情報など交えて毎週水曜配信 無料ニュースレター 下記へメールアドレスを入力し無料で登録
CLOSE
パロアルトインサイト/ PALO ALTO INSIGHT, LLC.

ブログBLOG

パロアルトインサイト/PALO ALTO INSIGHT, LLC. > ブログ > ディープラーニングの温故知新

ディープラーニングの温故知新

2022/04/20 ブログ 
by kohei 

ディープラーニングの温故知新

1989年のAIモデルを2022年に再現し、最新手法を適用する試み

今週のテーマ:技術開発

パロアルトインサイトの石角です。AI技術はものすごい速さで進化しており、その流れについていくことはもちろん大切です。その一方で、ときには立ち止まって振り返ってみると、大きな気づきが得られるかもしれません。今回は、過去の偉大な研究に注目したAI研究者の「タイムスリップ」の挑戦を紹介します。

 

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。今回取り上げるのは、1989年のAIモデルを論文に基づいて再現し、最新の手法を適用する試みです。

💡 この記事から得られる3つのナレッジ ・ニューラルネットワークの基礎 ・最新のAI学習手法の効果 ・ディープラーニングの基本構造は33年前から不変

📖 このトピックを選んだポイント 「温故知新」の興味深い試みであり、AIに関してだけでなく、他分野にもあてはまる考え方が学べる題材であるため。

📖 この記事に登場する技術キーワード

 

目次

テスラ社に所属するカルパシー氏のブログ記事

ルカン氏が1989年に発表したAIモデルを2022年に検証

「タイムスリップ」の結果

最新情報だけでなく温故知新も大切

AIビジネスデザイナーのワンポイントアドバイス


テスラ社に所属するカルパシー氏のブログ記事

テスラ社で人工知能と自動運転のディレクターを務めるアンドレイ・カルパシー氏が、2022年3月14日にブログ記事「Deep Neural Nets: 33 years ago and 33 years from now」を公開しました。

(右アンドレイ・カルパシー氏、画像引用:https://karpathy.ai

その記事内でカルパシー氏は、1989年にヤン・ルカン氏が発表した「歴史的に重要」な論文「Backpropagation Applied to Handwritten Zip Code Recognition」に注目し、とある検証をしたのです。

ルカン氏の論文発表から33年が経ち、その間にAIに関する数多くの新しい理論や手法が生み出されています。そこでカルパシー氏はこう考えました。「最新の研究成果を持って33年前にタイムスリップしたら、当時のAIをどれだけ当時より賢くできるだろうか?」と。

そして考えただけでなく実践して、惜しげもなく個人的なブログで公開したのです。この記事は、AI研究者の間で話題となりました。

ルカン氏が1989年に発表したAIモデルを2022年に検証

カルパシー氏が行った検証について、詳しく解説しましょう。

ルカン氏の論文の研究

1989年のルカン氏の論文で発表されたのは、下図のような手書きの数字を認識するAIです。現在ではこうした手書き数字のデータセットは「The MNIST databese」として整備されています。

(画像引用:https://karpathy.github.io/2022/03/14/lecun1989/

こうした数字の画像データに1つずつ「これは『4』」「これは『2』」などと人がラベル付けをしたうえで、AIに大量に学ばせました。するとAIは、手書き数字の画像を提示されれば、それがどの数字を示しているのかを判別できるようになったのです。

この研究は「データで訓練したニューラルネットワーク」の実世界への応用として最初期のもので、画期的でした。その後も大きな研究成果を生み出し続けたルカン氏は、2018年にチューリング賞を受賞しています。

なおルカン氏については、過去記事「ニューラルネットワークでAI時代を開拓したヒントン教授」でも紹介しました。

検証の目的

カルパシー氏が今回の検証をしたのは、半分は遊び心からだったようです。一方で「ディープラーニングの進歩の本質に迫るためのケーススタディ」という真面目な目的もありました。

というのも、これまでの研究成果がどれだけAIの進歩に役立ったのか、実際にはよくわかっていないからです。ディープラーニングは急速に進歩していますが、それには以下のような要因があります。

💡 ディープラーニングが進歩した要因

 

これらは複雑に関係しているため「どの要素がどれだけAIの進歩に貢献しているのか」は不明です。AIの研究者としては、「自分たちが生み出してきた理論や手法の役割が大きい」と思いたいところでしょう。

実際のところはどうなのか、カルパシー氏は今回の検証で確かめようとしたのです。

「タイムスリップ」の結果

カルパシー氏のタイムスリップの挑戦は、以下の3つの段階に分けられます。

  1. 当時の手法を忠実に再現
  2. 最新の手法で認識ミスを減らせるか挑戦
  3. データセットを増やしたらどうなるか実験

これらがどのような結果になったのか、順に解説します。

 

‥‥‥‥‥‥‥‥‥‥‥‥‥‥

続きはThe Insight へご登録しお読みください。

パロアルトインサイトについて

AIの活用提案から、ビジネスモデルの構築、AI開発と導入まで一貫した支援を日本企業へ提供する、石角友愛氏(CEO)が2017年に創業したシリコンバレー発のAI企業。

社名 :パロアルトインサイトLLC
設立 :2017年
所在 :米国カリフォルニア州 (シリコンバレー)
メンバー数:17名(2021年9月現在)

石角友愛
<CEO 石角友愛(いしずみともえ)>

2010年にハーバードビジネススクールでMBAを取得したのち、シリコンバレーのグーグル本社で多数のAI関連プロジェクトをシニアストラテジストとしてリード。その後HRテック・流通系AIベンチャーを経てパロアルトインサイトをシリコンバレーで起業。データサイエンティストのネットワークを構築し、日本企業に対して最新のAI戦略提案からAI開発まで一貫したAI支援を提供。AI人材育成のためのコンテンツ開発なども手掛け、順天堂大学大学院医学研究科データサイエンス学科客員教授(AI企業戦略)及び東京大学工学部アドバイザリー・ボードをはじめとして、京都府アート&テクノロジー・ヴィレッジ事業クリエイターを務めるなど幅広く活動している。また、毎日新聞「石角友愛のシリコンバレー通信」、ITメディア「石角友愛とめぐる、米国リテール最前線」など大手メディアでの寄稿連載を多く持ち、最新のIT業界に関する情報を発信している。「報道ステーション」「NHKクローズアップ現代+」などTV出演も多数。

著書に『いまこそ知りたいDX戦略』『いまこそ知りたいAIビジネス』(ディスカヴァー・トゥエンティワン)、『経験ゼロから始めるAI時代の新キャリアデザイン』(KADOKAWA)、『才能の見つけ方 天才の育て方』(文藝春秋)など多数。

パロアルトインサイトHP:www.paloaltoinsight.com
お問い合わせ、ご質問などはこちらまで:info@paloaltoinsight.com
※石角友愛の著書一覧

NEWSLETTERパロアルトインサイトの
無料ニュースレター

毎週水曜日、アメリカの最新AI情報が満載の
ニュースレターを無料でお届け!
その他講演情報やAI導入事例紹介、
ニュースレター登録者対象の
無料オンラインセミナーのご案内などを送ります。

BACK TO BLOG
« »
PAGE TOP