1989年のAIモデルを2022年に再現し、最新手法を適用する試み
パロアルトインサイトの石角です。AI技術はものすごい速さで進化しており、その流れについていくことはもちろん大切です。その一方で、ときには立ち止まって振り返ってみると、大きな気づきが得られるかもしれません。今回は、過去の偉大な研究に注目したAI研究者の「タイムスリップ」の挑戦を紹介します。
シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。今回取り上げるのは、1989年のAIモデルを論文に基づいて再現し、最新の手法を適用する試みです。
💡 この記事から得られる３つのナレッジ ・ニューラルネットワークの基礎 ・最新のAI学習手法の効果 ・ディープラーニングの基本構造は33年前から不変
📖 このトピックを選んだポイント 「温故知新」の興味深い試みであり、AIに関してだけでなく、他分野にもあてはまる考え方が学べる題材であるため。
📖 この記事に登場する技術キーワード
テスラ社で人工知能と自動運転のディレクターを務めるアンドレイ・カルパシー氏が、2022年3月14日にブログ記事「Deep Neural Nets: 33 years ago and 33 years from now」を公開しました。
（右アンドレイ・カルパシー氏、画像引用：https://karpathy.ai）
その記事内でカルパシー氏は、1989年にヤン・ルカン氏が発表した「歴史的に重要」な論文「Backpropagation Applied to Handwritten Zip Code Recognition」に注目し、とある検証をしたのです。
ルカン氏の論文発表から33年が経ち、その間にAIに関する数多くの新しい理論や手法が生み出されています。そこでカルパシー氏はこう考えました。「最新の研究成果を持って33年前にタイムスリップしたら、当時のAIをどれだけ当時より賢くできるだろうか？」と。
そして考えただけでなく実践して、惜しげもなく個人的なブログで公開したのです。この記事は、AI研究者の間で話題となりました。
カルパシー氏が行った検証について、詳しく解説しましょう。
1989年のルカン氏の論文で発表されたのは、下図のような手書きの数字を認識するAIです。現在ではこうした手書き数字のデータセットは「The MNIST databese」として整備されています。
（画像引用：https://karpathy.github.io/2022/03/14/lecun1989/）
こうした数字の画像データに1つずつ「これは『4』」「これは『2』」などと人がラベル付けをしたうえで、AIに大量に学ばせました。するとAIは、手書き数字の画像を提示されれば、それがどの数字を示しているのかを判別できるようになったのです。
この研究は「データで訓練したニューラルネットワーク」の実世界への応用として最初期のもので、画期的でした。その後も大きな研究成果を生み出し続けたルカン氏は、2018年にチューリング賞を受賞しています。
なおルカン氏については、過去記事「ニューラルネットワークでAI時代を開拓したヒントン教授」でも紹介しました。
カルパシー氏が今回の検証をしたのは、半分は遊び心からだったようです。一方で「ディープラーニングの進歩の本質に迫るためのケーススタディ」という真面目な目的もありました。
というのも、これまでの研究成果がどれだけAIの進歩に役立ったのか、実際にはよくわかっていないからです。ディープラーニングは急速に進歩していますが、それには以下のような要因があります。
💡 ディープラーニングが進歩した要因
これらは複雑に関係しているため「どの要素がどれだけAIの進歩に貢献しているのか」は不明です。AIの研究者としては、「自分たちが生み出してきた理論や手法の役割が大きい」と思いたいところでしょう。
実際のところはどうなのか、カルパシー氏は今回の検証で確かめようとしたのです。
カルパシー氏のタイムスリップの挑戦は、以下の3つの段階に分けられます。
これらがどのような結果になったのか、順に解説します。
‥‥‥‥‥‥‥‥‥‥‥‥‥‥
AIの活用提案から、ビジネスモデルの構築、AI開発と導入まで一貫した支援を日本企業へ提供する、石角友愛氏（CEO）が2017年に創業したシリコンバレー発のAI企業。
社名 ：パロアルトインサイトLLC
毎週水曜日、アメリカの最新AI情報が満載の
ニュースレターを無料でお届け！
その他講演情報やAI導入事例紹介、
ニュースレター登録者対象の
無料オンラインセミナーのご案内などを送ります。
いまこそ知りたいDX戦略 自社のコアを再定義し、デジタル化する 
“経験ゼロ”から始める AI時代の新キャリアデザイン 
いまこそ知りたいAIビジネス