NIPS

NIPS2017:5日目

NIPSの5日目はコンペティションの発表がありました。私の友人でStudio OusiaのCTO山田育矢氏がクイズAIのコンペで機械選手権を勝ち抜いてきましたので、応援に駆けつけました。詳細はStudio Ousiaのブログに記述されていますが、早押しクイズ形式で、問題を読み上げている最中に答えが分かったらボタンを押し回答するという内容です。そのコンペでまずはAI同士の戦いに勝ち抜き、AIのトップになったのがOusiaのAIです。そして本日はAIの中でトップになったOusia対人間のエキスパート6名の対戦でした。ちなみに昨年も同じコンペが開催され、その時は人間が圧勝しています。そして、問題の難易度も去年と比べて難しくなっているようです。

結果は、465対200で、Ousiaの圧勝でした。最初の方はAIが答えると人間も感心して拍手などが湧き起こりましたが、途中からは差があまりにもデカすぎるので会場の人間があからさまに人間の応援に回るようになりました。悪者扱いされるくらい本当に強かったということです。

勝負が終わったあと、Richard Socherなどの著名な研究者を含めたパネルディスカッションがありました。そこでの議論が「来年はどうすればよりAIにとって難しいゲームになるか」という方向で運ばれていたので、ちょっとイラっとなりました。というのも、今回のこの圧勝はすごい結果ですし、そこには様々な技術的課題を乗り越えたりしているはずなのに、その本質的な議論が全然されないことを少し残念に思いました。アルファ碁が囲碁でトップ棋士に勝ったからといって、「じゃあどうすれば囲碁をもっとAIが勝ちづらくできるか」みたいな話は誰もしないじゃないですか。

NIPSにてStudio Ousia CTOの山田育矢氏と。優勝おめでとうございます!

NIPSにてStudio Ousia CTOの山田育矢氏と。優勝おめでとうございます!

午後はk近傍法という、機械学習の中でもシンプルな概念に基づくアルゴリズムのワークショップに参加しました。概念としては、新たなテストデータが来たときにこれまで見てきたトレーニングデータのどれと一番近いかをベースに分類するという分類機です。シンプルな上に有用性が高いので、クライアント様に実装する手法として使うことが多いので、興味を持って聞いていました。k近傍法は他の全てのデータセットと比較しなければいけないので、パフォーマンスがボトルネックになることが多いので、その課題をどうやって解決するかという内容でした。

NIPS2017:4日目

今日からは「ワークショップ」という形式に変わり、テーマ別にいくつかのワークショップが平行で走るようになっています。ワークショップのテーマは以下の4つです:

  1. Metalearning:昨日Pieter Abbeel氏が話していた学習の仕方を学習するというメタラーニング

  2. Kinds of intelligence:知識とは何かという定義を見直そうという内容

  3. Deep Reinforcement Learning:ディープラーニングの強化学習への応用

  4. Interpretable Machine Learning:解釈可能な機械学習のための研究

私はアルファ碁について興味があるし、David Silver本人(アルファ碁の開発リーダー)にも会いたかったので3番の強化学習のワークショップに参加していました。1番バッターが彼だったので良かったです。今週また新たに発表した、アルファゼロについての説明があったので、食い入るように聞いていました。アルファゼロは、囲碁だけでは満足できず、同じ手法を使って学習データなしの状態からチェスとなんと将棋をアルファゼロに学習させ、世界のトップAIに勝たせるという快挙を成し遂げました。後々少しDavid Silverと話す機会があったので、「将棋のドメインエキスパートがいないようですが、その不在により何か課題などはありましたか」ということを聞いてみました。というのも、囲碁については、論文自体の作成にファン氏という欧州チャンピオンの囲碁棋士が関わっていたし、チェスについては、DeepMindの創設者であるDemis Hassabis氏はチェスのチャンピオンですが、論文を見る限り、将棋の深い知見を持つ人間がいないように見受けられたからです。彼の答えは、囲碁もチェスも、ドメインエキスパートの知見を借りたのは最終的な結果を見せて「本当に強いのか」という確認をしてもらった程度で、実際のAIの学習においては彼らのインプットをもらっていないとのことでした。

次のスピーカーはJoelle PineauというMcGill大学の教授でFacebookのMontreal研究所所長です。彼女の元で研究していた博士や学生が、業界の最先端の研究を再現するために苦労しているのを見て、機械学習の研究の再現性を高めるためにはどうすれば良いのかという話をしました。研究者に対するアンケート調査によると、「今、研究の再現可能性は危機的状況にあるか」という問いに対して、52%がYes、さらに38%が「ちょっと危機的」とほぼ9割の研究者が問題有りと認めていることを発表していました。解決策として、例えばモデルをチューニングするときの変数であるハイパーパラメータを明記することや、プログラムを流すためのコードを公開することなどを勧めていました。それに対して、前の講演者だったDavid Silver氏が「どこかで折り合いを付けなければ技術革新のスピードが落ちてしまうのではないか」という質問を投げかけていました。このようにトップレベルの研究者がただ単に自分の発表をするだけではなく、他の講演内容も真摯に聞き入って納得がいかない点や気になる点があるとちゃんと公共の場で質問するというところもすごいなと感じました。この動画はそのときの様子です。

最後に、今年のNIPSはInterpretable Machine Learningというのが一つの大きなテーマで、機械学習のモデルを解釈できるようになるための研究が発表されていました。そのワークショップの締めくくりとして、Yann LeCunをはじめとする研究者4名が議論するという面白い趣向がありました。議題は「Interpretibility is necessary in Machine Learning(解釈可能性は機械学習において不可欠である)」でした。下のビデオはその「選手紹介」の部分です。ちなみにNIPSのビデオはほとんどがNIPSのFacebookページでライブ配信されその後公開されています。精度がめちゃめちゃ高くて、しっかりテストされていれば解釈可能性は関係ない、という反対派に対して、何が起きているか分からない(ブラックボックスな)モデルを導入することは倫理に反するといった肯定派の主張がありました。

NIPS2017:3日目

本日は(ネット上で)ちょっとしたハプニングがありました。2日目のブログでも紹介しましたが、「Test of Time賞」を受賞したAli Rahimi氏の講演内容に対して、Yann LeCun氏がFacebook上で抗議しました。具体的な内容については彼の投稿を見ていただければ分かると思いますが、ディープラーニングのことをRahimi氏が「Alchemy」と表現したことに対して、「礼を逸していると同時に間違っている」と憤慨しています。昨日は内容にあまり踏み込むことが出来なかったので、もう一度Rahimi氏のプレゼンテーションを以下に要約します。

  • 今の機械学習のコミュニティには「self congratulatory」(自己の成功を過剰に賞賛し祝うような)な空気が漂っています。例えばAndrew Ngの次のような発言にもその風潮が見受けられます「Machine learning is the new electricity」(機械学習は現代の電気である)

  • 私は全然そうだとは思わず、どちらかというと今のディープラーニングは「Alchemy」(魔術)だと思います。Alchemyは大昔、病気を直したりする上で、実際に成果をあげていました。成果はありましたが、「なぜそれがうまくいくか」また「なぜ不可解なことが起きているのか」の原因究明は全くされておらず、その後、科学は数百年の時をかけてそれらのことを紐解く必要がありました。

  • 私たちは今、機械学習を使って、車を運転し、選挙の行く末に影響を与え、病気を直そうとしています。素晴らしいことですが、ぜひここであなたのこの一年の仕事を振り返って、①ある基準値を達成するために遮二無二色々なパラメーターを試し、とにかく結果を出すために費やした時間が多かったのか、それとも、②何か一つのものに納得できず、原因を考察し、分かり易い再現可能な実験を繰り返し、人類の科学に対する理解を深めることに費やす時間が多かったか、どちらが多かったか考えてください。

  • その答えが②でない場合は、ぜひ②の時間を増やしてください。

科学とは何か、機械学習が人類のためになるにはどうすれば良いか、深い洞察とコミュニティに対する愛を持ちながら話していることが伝わり、感銘を受ける内容でした。

それに対して、LeCun氏は以下のように反論します。

  • 科学の発展においては、理論の理解よりもモノの開発が先行することがよくあります。レンズ、飛行機、ラジオなどはその例です。

  • 理論的な理解が追い付いていないのは事実だが、解決策はコミュニティを批判することではなく、実際に仕事をして理論的な理解を追いつかせることです。

  • このような批判は、10年間ニューラルネットワークという素晴らしい手法を機械学習のコミュニティが無視するに至った、失われた10年を再現することになる危険性があります。

曲がりなりにも今の機械学習の時代を作った二人の間の議論なので、口を挟むのも憚られるようなハイレベルな議論ですが、機械学習を実装する人間の意見を言わせてもらうと、是非理論的な解明は進むようになって欲しいです。例えば、人の命を取り扱うようなクライアントの案件の場合、やはり「なぜうまくいくかは説明できないですが、結果として高い精度が得られました」というのはやはり通らないからです。いくらパワフルなモデルがあっても、それを使ってもらうことができません。あと、「分かんないなら自分でどうにかしろ」というのはいささか乱暴な気がします。もちろん、Rahimi氏ほどの人なら、色々と自分で研究した上で手が足りないと感じたからこその訴えだったと思います。とかなんとか考えていたら、今日は目の前の席にLecun氏が座っていたのでちょっと驚きながらも、写真を撮っておきました。

さて、本題の3日目の内容ですが、今日の講演で素晴らしかったのは、Pieter Abbeel教授の強化学習をロボットに応用するという内容の講演でした。強化学習は実際に学習をする期間が長くかかるという課題がありますが、一つの方向性として、「One shot imitation」という一度人間がやった内容を見ただけで真似できるようになるという手法を見せていました。また、強化学習にはGoalの定義の仕方や、実際の学習の仕方などを定義する必要がありますが、その学習の仕方自体を学習するという「Metalearning」という手法について発表していました。最後に、若い研究者がどのような貢献をすれば良いかという質問に対して、「良い評価環境の整備が必要です」と答えていました。

NIPS2017:2日目

2日目の最初のセッションは機械学習をゲノム解析に適用する話でした。スピーカーはBrendan Freyで、元々はGeoffrey Hintonの元で研究をしていて、今はDeep Genomicsという会社を起業して、2015年には彼らが発表した論文がNatureに取り上げられました。彼の論文は全部で3万件近い引用があり、研究者としてもトップクラスの実績を持っています。娘に遺伝子関係の問題が発覚し個人的に遺伝子異常の問題と向き合ったこともあり、問題に対する解決策を作りたかったという強い思いを語っていました。

NIPSではスポンサー企業の多くがブースを出して自社の製品を売り出したり、採用活動をしたりしているので、今日はそのブースを回りました。マイクロソフト、IBM、グーグル、アップルのような大手はもちろんのこと、他にもいろんな会社が出展していました。自動車メーカーからはベンツとアウディが出展していて、ベンツはシリコンバレーのオフィスに在住している研究者が200人以上いて、多くが自動運転の研究に従事しているようです。ディープラーニングをするためにGPUという特別なマイクロプロセッサを必要としますが、その市場を今では独占しているNVIDIAもブースを出しており、そこで彼らの製品を売り出していました。彼らはチップだけではなく、画像認識ようのキットとしてJetsonという開発者向けの小さなボードを売り出したり、最新のGPUを何個も搭載したスーパーコンピュータを数百万円くらいの価格で売り出していました。音声から感情を読み取って表情を再現するという研究もしていて、そのデモもしていました。最後にファイナンス系の会社も多く、業界のトップリサーチャーを惹きつけて証券の取引戦略を練るというクオンツ系ヘッジファンドもいました。

午後はKate CrawfordというNYUの教授が「The Trouble with Bias」という素晴らしい内容の発表をしました。機械学習の研究のなかに存在するバイアスの危険性についての話で、機械学習の研究者として、今このNIPSに参加している研究者が持ち得る力と、それに伴う倫理的責務について目が覚める内容でした。機械学習の得意技である「分類する」という行為は実は人間に当てはめるととても危険なもので、ドイツのヒットラーの元でユダヤ人の選別が虐殺に繋がる例や、アフリカのアパルトヘイトなどで人種の分類などにより自由が制限される例などを話しました。最近ではトランプが移民政策の一環として機械学習のコミュニティに移民の分類機を作る要請を出したようで、彼女をはじめとする権威数名でその危険性を啓蒙するとともに強く反対する姿勢を見せています。それ以外にも、例えばグーグル検索で「CEO」と検索すると、女性が出てこない例や、「She is a doctor, He is a nurse」という文をトルコ語に訳して英語に戻すと「He is a doctor, she is a nurse」と性別が逆転してしまう例などを取り上げ、機械学習の研究の根幹をなす標準化されたデータセットにバイアスがあることによってモデル自体もバイアスがかかってしまうことを述べていました。

次に、今年から始まった新しい賞で、「Test of Time」賞というものがあり、10年前(±1年)の研究論文を振り返り、10年経った今でも重要でそれだけ影響力が強かった論文に与えられるものです。てっきり今のディープラーニングに発展したタネのような研究が取り上げられるものかと思いましたが、そうではなくAli Rahimi氏のランダム最適化アルゴリズムでした。彼の話はすごく面白くて、科学的アプローチへの回帰を呼びかけるものでした。「今皆ディープラーニング、ディープラーニングと言っていますが、10年後に本当に重要だと言える発見がこの分野でされているのか、その答えはNoだと思う」と言っています。精度が良いから大丈夫というのではなく、ちゃんと中身を理解した上で研究を進めるべき、というのが彼の意見でした。昨今のディープラーニングバブルの中で、しかもディープラーニングの研究の頂点にあるとも言えるこのNIPSでそういう発表をする度胸と新鮮さに感嘆しました。

最後に、2日目からデモセッションが始まり、チャットボット、ロボット、ポーカーAIなど様々な面白いデモを見ました。ロボットの特色は、たった1回動作を見せるだけで、その真似をできるというOne Shot Imitationを実践していて、膨大な教師データがなくてもすぐに学ぶロボットを作る最先端の研究を見れました。

ランチは昔の同僚と、当日仲良くなったグーグルの研究者と食べました。ではまた明日!

友人とのランチ。左からアップルのエンジニア、弊社CTO長谷川、グーグルの研究者、バイオ系の研究者。

友人とのランチ。左からアップルのエンジニア、弊社CTO長谷川、グーグルの研究者、バイオ系の研究者。

NIPS2017:初日

こんにちは、CTOの長谷川です。

機械学習カンファレンスのNIPSに到着しました!今年の会場はロスアンゼルスのロングビーチです。パロアルトから車で約6時間なので、友達と運転してきました。壮大なカリフォルニアの風景を見ながら、ロス関数についてああでもないこうでもないとか議論していたら、あっというまにホテルに到着しました。これは、ドライブしているときの風景です。

最初はDeepMind社からディープラーニングの現状とトレンドに関する発表で、内容としてはConvolutional Neural NetworkやRecurrent Neural Networkから始まり、なぜカーネルサイズが3X3になるのか、オーバーフィットしているときはどうすれば良いか、などの実践的なアドバイスが多かったです。DeepMindはアルファ碁ゼロを完成させる過程で、いくつもの実践的な難問を解いて来ただけのことがあり、いろいろな示唆を得ることができました。また、最近のトレンドとして、Generative Model、つまり今までに機械が見たことがない内容を出力するモデルについて触れていました。

夕方にはNIPSの運営側から「ようこそNIPS2017」という発表があり、正式なキックオフという流れです。今年はものすごい人気で8000人近い登録者数で、30年前に数十人の前でNIPSを始めたときはまさかこんなことになるとは思っていなかったと言っていました。会場に来ていた人間のうち約半分は初めてNIPSに参加すると言っていたので、機械学習に対する関心が高まっているなと感じました。他にも以下のようなメトリクスを発表していました。

  • 3249 papers sent out for review
  • 156 subject areas (most popular "Algorithms", second "Deep Learning")
  • 7844 unique authors
  • 10% women 90% men
  • 12% industry 88% academia
  • 2093 reviewers
  • 183 area chairs
  • 26 senior area chairs
  • 679 accepted / 3249 submission = 21% acceptance rate

初日の最後の発表は"Powering the Next 100 Years"というタイトルで、素晴らしい発表でした。テーマはエネルギーの枯渇に対する解決策として、機械学習を応用できないかというものです。今のまま人類がエネルギーを消費し続けると、約0.2ヨタジュールのエネルギーが必要で、石油や天然ガスなどのエネルギー源はもとより、ゼロカーボンのエネルギー源を合わせてもその量のエネルギーを作り出すことは不可能らしいです。そこで、フュージョンという新しいエネルギー源の開拓に、機械学習を応用しようという内容でした。話のスケールの大きさと、そのような重要な課題に対して機械学習の応用分野があることを知れて刺激になりました。

夜はポスターセッションと言って、それぞれの研究者が自分の研究内容をポスターにして、研究内容を発表するというものです。研究者に各自の研究内容について聞く良い機械なので、皆夜遅くまで熱心に聞いて回ります。