NIPS2017:3日目

本日は(ネット上で)ちょっとしたハプニングがありました。2日目のブログでも紹介しましたが、「Test of Time賞」を受賞したAli Rahimi氏の講演内容に対して、Yann LeCun氏がFacebook上で抗議しました。具体的な内容については彼の投稿を見ていただければ分かると思いますが、ディープラーニングのことをRahimi氏が「Alchemy」と表現したことに対して、「礼を逸していると同時に間違っている」と憤慨しています。昨日は内容にあまり踏み込むことが出来なかったので、もう一度Rahimi氏のプレゼンテーションを以下に要約します。

  • 今の機械学習のコミュニティには「self congratulatory」(自己の成功を過剰に賞賛し祝うような)な空気が漂っています。例えばAndrew Ngの次のような発言にもその風潮が見受けられます「Machine learning is the new electricity」(機械学習は現代の電気である)
  • 私は全然そうだとは思わず、どちらかというと今のディープラーニングは「Alchemy」(魔術)だと思います。Alchemyは大昔、病気を直したりする上で、実際に成果をあげていました。成果はありましたが、「なぜそれがうまくいくか」また「なぜ不可解なことが起きているのか」の原因究明は全くされておらず、その後、科学は数百年の時をかけてそれらのことを紐解く必要がありました。
  • 私たちは今、機械学習を使って、車を運転し、選挙の行く末に影響を与え、病気を直そうとしています。素晴らしいことですが、ぜひここであなたのこの一年の仕事を振り返って、①ある基準値を達成するために遮二無二色々なパラメーターを試し、とにかく結果を出すために費やした時間が多かったのか、それとも、②何か一つのものに納得できず、原因を考察し、分かり易い再現可能な実験を繰り返し、人類の科学に対する理解を深めることに費やす時間が多かったか、どちらが多かったか考えてください。
  • その答えが②でない場合は、ぜひ②の時間を増やしてください。

科学とは何か、機械学習が人類のためになるにはどうすれば良いか、深い洞察とコミュニティに対する愛を持ちながら話していることが伝わり、感銘を受ける内容でした。

それに対して、LeCun氏は以下のように反論します。

  • 科学の発展においては、理論の理解よりもモノの開発が先行することがよくあります。レンズ、飛行機、ラジオなどはその例です。
  • 理論的な理解が追い付いていないのは事実だが、解決策はコミュニティを批判することではなく、実際に仕事をして理論的な理解を追いつかせることです。
  • このような批判は、10年間ニューラルネットワークという素晴らしい手法を機械学習のコミュニティが無視するに至った、失われた10年を再現することになる危険性があります。

曲がりなりにも今の機械学習の時代を作った二人の間の議論なので、口を挟むのも憚られるようなハイレベルな議論ですが、機械学習を実装する人間の意見を言わせてもらうと、是非理論的な解明は進むようになって欲しいです。例えば、人の命を取り扱うようなクライアントの案件の場合、やはり「なぜうまくいくかは説明できないですが、結果として高い精度が得られました」というのはやはり通らないからです。いくらパワフルなモデルがあっても、それを使ってもらうことができません。あと、「分かんないなら自分でどうにかしろ」というのはいささか乱暴な気がします。もちろん、Rahimi氏ほどの人なら、色々と自分で研究した上で手が足りないと感じたからこその訴えだったと思います。とかなんとか考えていたら、今日は目の前の席にLecun氏が座っていたのでちょっと驚きながらも、写真を撮っておきました。

さて、本題の3日目の内容ですが、今日の講演で素晴らしかったのは、Pieter Abbeel教授の強化学習をロボットに応用するという内容の講演でした。強化学習は実際に学習をする期間が長くかかるという課題がありますが、一つの方向性として、「One shot imitation」という一度人間がやった内容を見ただけで真似できるようになるという手法を見せていました。また、強化学習にはGoalの定義の仕方や、実際の学習の仕方などを定義する必要がありますが、その学習の仕方自体を学習するという「Metalearning」という手法について発表していました。最後に、若い研究者がどのような貢献をすれば良いかという質問に対して、「良い評価環境の整備が必要です」と答えていました。