據悉，本次大(da)會共收到(dao)有效投稿6743篇(pian)，最(zui)終1428篇(pian)論文(wen)被接收，接收率達到(dao)21.2%（略高(gao)于去年的20.8%）。在接收的論文(wen)中(zhong)，還(huan)有36篇(pian)Oral論文(wen)和164篇(pian)Spotlight論文(wen)。

從每篇(pian)論(lun)文(wen)作(zuo)者(zhe)數量來看， NeurIPS2019接(jie)收的(de)論(lun)文(wen)大(da)多數都有(you)3-4個作(zuo)者(zhe)，其中3個作(zuo)者(zhe)的(de)共有(you)360篇(pian)，4個作(zuo)者(zhe)的(de)共有(you)320篇(pian)。擁有(you)10個作(zuo)者(zhe)以上的(de)論(lun)文(wen)共有(you)15篇(pian)，其中有(you)1篇(pian)文(wen)章擁有(you)21個作(zuo)者(zhe)。

從作者維度分(fen)析，NeurIPS2019接收的1427篇(pian)(pian)共來(lai)自(zi)4423位作者。其中3692位作者有(you)1篇(pian)(pian)入(ru)選，510位作者有(you)2篇(pian)(pian)入(ru)選，132位作者有(you)3篇(pian)(pian)入(ru)選，48位作者有(you)4篇(pian)(pian)入(ru)選。

超過5篇(pian)(pian)入選(xuan)的(de)作者共(gong)有44位。其(qi)中(zhong)，有1位作者有12篇(pian)(pian)入選(xuan)，他就是加州大(da)學伯克利分校EECS助理教授Sergey Levine；其(qi)次(ci)是INRIA的(de)大(da)牛(niu)(niu)Francis Bach，共(gong)有10篇(pian)(pian)。伯克利大(da)牛(niu)(niu)Pieter Abbeel和圖靈獎(jiang)得主(zhu)Yoshua Bengio都有9篇(pian)(pian)入選(xuan)。

在華(hua)人(ren)作(zuo)者(zhe)中，論文入選(xuan)數最(zui)多的是陶大程，共有8篇入選(xuan)。陶大程是澳大利亞科學院院士(shi)、悉(xi)尼大學教授(shou)，同(tong)時也擔任優必選(xuan)機器人(ren)的首席科學家。

來自(zi)普林斯頓大學運(yun)籌學與金(jin)融工程(cheng)系(xi)的博(bo)士研(yan)究(jiu)生楊卓(zhuo)然與美國西(xi)北大學助(zhu)理教授(shou)Zhaoran Wang分別有7篇(pian)和(he)6篇(pian)論(lun)文入選。

Zhuoran Yang（楊卓然）是(shi)普林斯頓大學(xue)(xue)(xue)運籌學(xue)(xue)(xue)與金融(rong)工程系(xi)的博士研究生。于2015年獲(huo)得(de)清華大學(xue)(xue)(xue)數學(xue)(xue)(xue)系(xi)學(xue)(xue)(xue)士學(xue)(xue)(xue)位，研究方向是(shi)統計機器學(xue)(xue)(xue)習(xi)和增強學(xue)(xue)(xue)習(xi)。

從一(yi)作(zuo)(zuo)統計，共有(you)(you)59位(wei)作(zuo)(zuo)者有(you)(you)2篇以上(shang)（包(bao)括2篇）論(lun)文入選，其中，以一(yi)作(zuo)(zuo)身份(fen)發表3篇以上(shang)論(lun)文作(zuo)(zuo)者的共有(you)(you)8位(wei)，還有(you)(you)1位(wei)作(zuo)(zuo)者發表了4篇，他就是(shi)“計算(suan)機金牌王子”--朱(zhu)澤(ze)園，在NeurIPS2018與 ICML 2017 上(shang)，朱(zhu)澤(ze)園分別也有(you)(you)4篇、5篇以一(yi)作(zuo)(zuo)論(lun)文被接收(shou)。

朱澤園目前就(jiu)職于微(wei)軟總部研究(jiu)院，主要致力于機器學(xue)(xue)(xue)(xue)習和優化問題(ti)的(de)數學(xue)(xue)(xue)(xue)基礎的(de)相關研究(jiu)，并將(jiang)它們應用于深度學(xue)(xue)(xue)(xue)習、理論計(ji)算機科學(xue)(xue)(xue)(xue)、運(yun)籌學(xue)(xue)(xue)(xue)和統計(ji)學(xue)(xue)(xue)(xue)。

從作者所(suo)屬國家來看，華人參與的論文(wen)(wen)共有(you)656篇(pian)，占總論文(wen)(wen)數的46%。其中華人一作論文(wen)(wen)共有(you)471篇(pian)，占華人參與論文(wen)(wen)數的71.8%，占總論文(wen)(wen)數的33%。

從(cong)論文(wen)(wen)所屬機構來看，Google+DeepMind組合(he)高居榜首，入(ru)(ru)選論文(wen)(wen)共(gong)計171篇。MIT排名第(di)二，92篇論文(wen)(wen)入(ru)(ru)選。斯(si)坦(tan)福(fu)大(da)學、卡(ka)內基(ji)梅隆大(da)學排名第(di)三，都(dou)有(you)85篇入(ru)(ru)選。

國內高校(xiao)中，清華大(da)學入選(xuan)論文最(zui)多，共計(ji)35篇，排(pai)在總榜的第(di)13位(wei)；北京大(da)學有25篇入選(xuan)，排(pai)在總榜第(di)19位(wei)。

NeurIPS2019 杰出論文(wen)委員(yuan)會(hui)(hui)的(de)五位成員(yuan)會(hui)(hui)從做oral presentation的(de)論文(wen)中進(jin)行選(xuan)擇，根據論文(wen)的(de)長期潛力(li)、洞(dong)察力(li)、創造性(xing)、革(ge)命(ming)性(xing)、科(ke)學性(xing)、可重復性(xing)等原則作(zuo)為評(ping)選(xuan)標(biao)準進(jin)行初步分類，選(xuan)出三篇論文(wen)的(de)短(duan)名(ming)單(dan)和一(yi)個八篇備選(xuan)論文(wen)的(de)長名(ming)單(dan)，然后各自再對對這八篇論文(wen)進(jin)行評(ping)估并為每篇論文(wen)定級，同時也會(hui)(hui)尋求更多的(de)專家意(yi)見作(zuo)為參考(kao)，最終(zhong)確定獲獎名(ming)單(dan)。

杰出論文獎

Distribution-Independent PAC Learning of Halfspaces with Massart Noise

作者(zhe)：Ilias Diakonikolas、Themis Gouleakis、Christos Tzamos（威斯康辛大學麥迪遜(xun)分校、馬普所）

論文地址：

摘要：這篇論文(wen)研究了(le)(le)在(zai)(zai)訓(xun)練數據(ju)中有未知(zhi)的、有界的標簽(qian)噪聲(sheng)的情(qing)(qing)況(kuang)下，如何為二(er)分類問(wen)題學習(xi)線性閾值函(han)數。論文(wen)推(tui)導出一(yi)個在(zai)(zai)這種情(qing)(qing)境(jing)下非常高效(xiao)的學習(xi)算法(fa)，解決(jue)了(le)(le)一(yi)個基礎的、長期存在(zai)(zai)的開放(fang)性問(wen)題：在(zai)(zai)有Massart噪聲(sheng)的情(qing)(qing)況(kuang)下高效(xiao)地學習(xi)半空間；這也(ye)是(shi)機器(qi)學習(xi)的核心問(wen)題之一(yi)，這篇論文(wen)帶來了(le)(le)巨大(da)的進步。

論文(wen)中的(de)(de)(de)一個簡單的(de)(de)(de)例(li)子證明了(le)(le)該方(fang)法的(de)(de)(de)效(xiao)(xiao)果。在此之前，只有1% Massart噪(zao)聲(sheng)就會(hui)讓弱學習(xi)無效(xiao)(xiao)（達(da)到49%的(de)(de)(de)錯誤(wu)(wu)率(lv)）。論文(wen)中展(zhan)示了(le)(le)如何(he)高(gao)效(xiao)(xiao)地(di)讓錯誤(wu)(wu)水平(ping)上限(xian)僅僅等(deng)于Massart噪(zao)聲(sheng)水平(ping)+ε （算法的(de)(de)(de)運(yun)行時(shi)間為（1/ε）的(de)(de)(de)多(duo)項式(shi)(shi)，正如預(yu)期）。算法的(de)(de)(de)實現方(fang)法很精密，達(da)到這(zhe)樣的(de)(de)(de)結(jie)果也有一定(ding)的(de)(de)(de)技(ji)術挑戰。最終的(de)(de)(de)結(jie)果是，能夠高(gao)效(xiao)(xiao)地(di)在（1/ε）的(de)(de)(de)多(duo)項式(shi)(shi)運(yun)行時(shi)間內讓錯誤(wu)(wu)水平(ping)上限(xian)為Massart噪(zao)聲(sheng)水平(ping)+ε 。

杰出新方向論文獎

Uniform convergence may be unable to explain generalization in deep learning

作(zuo)者：Vaishnavh Nagarajan、J. Zico Kolter（卡耐基(ji)梅隆(long)大(da)學、博世人工智能中心）

論文地址：

為(wei)了(le)解釋過參數化深度網絡令人驚(jing)訝的(de)良(liang)好泛(fan)化性能(neng)，近(jin)期的(de)論文為(wei)深度學習(xi)開發出了(le)各種泛(fan)化邊(bian)界(jie)(jie)(jie)，這些邊(bian)界(jie)(jie)(jie)都是基于一致收斂(lian)理論上的(de)基本學習(xi)技巧。許多現有的(de)邊(bian)界(jie)(jie)(jie)在數值上都很大，通過大量的(de)實(shi)驗，作者(zhe)揭示了(le)這些界(jie)(jie)(jie)限的(de)一個更(geng)值得關注(zhu)的(de)方(fang)面：實(shi)際上，這些邊(bian)界(jie)(jie)(jie)可以隨(sui)著訓練數據集的(de)增大而增大。

根據(ju)觀察結果，他們隨后給出(chu)了一(yi)些(xie)(xie)(xie)用梯(ti)度下降（gradient descent， GD）訓練的(de)過參數化(hua)線性分(fen)(fen)類(lei)器(qi)和神經網絡的(de)例子(zi)，而(er)在這些(xie)(xie)(xie)例子(zi)中，一(yi)致(zhi)收斂(lian)被證明(ming)(ming)不能「解釋泛(fan)(fan)化(hua)」--即使盡可能充分(fen)(fen)地考慮了梯(ti)度下降的(de)隱含偏見。更加確切地說，即使只考慮梯(ti)度下降輸出(chu)的(de)分(fen)(fen)類(lei)器(qi)集，這些(xie)(xie)(xie)分(fen)(fen)類(lei)器(qi)的(de)測試誤差小于(yu)設置中的(de)一(yi)些(xie)(xie)(xie)小的(de)ε。研究(jiu)者也(ye)表明(ming)(ming)，對這組(zu)分(fen)(fen)類(lei)器(qi)應用（雙邊(bian)(bian)，two-sided）一(yi)致(zhi)收斂(lian)將只產(chan)生(sheng)一(yi)個空洞的(de)大(da)于(yu) 1-ε的(de)泛(fan)(fan)化(hua)保證。通過這些(xie)(xie)(xie)發現，研究(jiu)者對基于(yu)一(yi)致(zhi)收斂(lian)的(de)泛(fan)(fan)化(hua)邊(bian)(bian)界的(de)能力提出(chu)了質疑(yi)，從而(er)全面了解為什么(me)過參數化(hua)深(shen)度網絡泛(fan)(fan)化(hua)得很好。

杰出論文獎榮譽提名

Nonparametric density estimation & convergence of GANs under Besov IPM losses

作者：Ananya Uppal、Shashank Singh、Barnabás Póczos（卡(ka)內基(ji)梅隆大學）

論文地址：

在本文(wen)中，作(zuo)者探究(jiu)了大(da)型損(sun)(sun)失函數(shu)(shu)族(zu)（Besov IPM）的非參概率(lv)密度估(gu)計問題，該函數(shu)(shu)族(zu)包括 L^p 距離、總變分距離，以(yi)及 Wasserstein 距離和 KolmogorovSmirnov 距離的泛華版本。對于(yu)各種(zhong)損(sun)(sun)失函數(shu)(shu)設置(zhi)，研究(jiu)者提供了上(shang)下界，精確(que)明(ming)確(que)了損(sun)(sun)失函數(shu)(shu)與數(shu)(shu)據假設的選(xuan)擇，如(ru)何影響極小極大(da)最優收斂率(lv)的確(que)定(ding)。

作者同樣展(zhan)示了(le)線(xian)性(xing)(xing)分(fen)(fen)布估計(ji)(ji)經(jing)(jing)常不能(neng)達到最(zui)(zui)(zui)優收(shou)斂率，例如(ru)經(jing)(jing)驗分(fen)(fen)布或核密度估計(ji)(ji)器等線(xian)性(xing)(xing)分(fen)(fen)布。他們得出來的上下界(jie)能(neng)幫助泛化(hua)、統一或提升一些最(zui)(zui)(zui)經(jing)(jing)典研究成果。此(ci)外，IPM 可以用于(yu)形式(shi)化(hua)生成對抗網絡(luo)的統計(ji)(ji)模型。因此(ci)，研究者展(zhan)示了(le)該結果如(ru)何表明 GAN 的統計(ji)(ji)誤差邊界(jie)，例如(ru) GAN 要嚴格超越最(zui)(zui)(zui)好的線(xian)性(xing)(xing)估計(ji)(ji)器。

Fast and Accurate Least-Mean-Squares Solvers

作者(zhe)：Alaa Maalouf、Ibrahim Jubran、Dan Feldman（以色列海法大學）

論文地址：

本(ben)(ben)文(wen)從線性(xing)、Lasso回歸(gui)到(dao)奇異值分(fen)解和Elastic net，最小均方算(suan)法(fa)是許多ML算(suan)法(fa)的(de)(de)(de)(de)核心。本(ben)(ben)文(wen)展示(shi)了(le)(le)如何在(zai)不損失精度的(de)(de)(de)(de)情(qing)況下，將其(qi)計算(suan)復雜(za)度降低一(yi)到(dao)兩個數量級，并(bing)改進了(le)(le)數值穩定性(xing)。該方法(fa)依賴(lai)于Caratheodory定理，建立一(yi)個coreset （d維中d2 + 1個點的(de)(de)(de)(de)集合）足以(yi)表征凸集中的(de)(de)(de)(de)所有n個點。它的(de)(de)(de)(de)新穎之處(chu)在(zai)于提(ti)出(chu)了(le)(le)一(yi)種分(fen)治算(suan)法(fa)，在(zai)復雜(za)度可承受(shou)的(de)(de)(de)(de)情(qing)況下（O（nd + d5 log n），其(qi)中d << n））提(ti)取(qu)coreset。

杰出新方向論文獎榮譽提名

Putting An End to End-to-End：Gradient-Isolated Learning of Representations

作者(zhe)：Sindy Lwe、Peter O‘Connor、Bastiaan Veeling（阿姆斯(si)特丹(dan)大學(xue)）

論文地址：

本文重新(xin)審視(shi)了深度(du)網絡的(de)(de)(de)分層構建，使用了van Oord等人(ren)提出的(de)(de)(de)自監督標準，特(te)別是當前輸(shu)入(ru)的(de)(de)(de)表(biao)示(shi)與空間(jian)或時間(jian)相近的(de)(de)(de)輸(shu)入(ru)之(zhi)間(jian)的(de)(de)(de)相互(hu)信息。

Scene Representation Networks：Continuous 3D-Structure-Aware Neural Scene Representations

作(zuo)者(zhe)：Vincent Sitzmann 、Michael Zollhfer、Gordon Wetzstein（斯(si)坦福大學(xue)）

論文地址：

本文提出了CV中的(de)兩種主要方(fang)(fang)法(fa)：多視圖幾何(he)方(fang)(fang)法(fa)和(he)深度表(biao)示(shi)方(fang)(fang)法(fa)完(wan)美地(di)結合(he)在(zai)一(yi)(yi)起。具體而言(yan)，本文的(de)三大貢獻表(biao)現(xian)在(zai)：1.基(ji)于每(mei)個體素(su)的(de)神經渲染(ran)器，實(shi)現(xian)了場(chang)景(jing)的(de)3D感知無分辨率渲染(ran)；2.提出一(yi)(yi)種可微分的(de)ray-marching 算法(fa)，解決了沿著攝(she)像機投(tou)射(she)光線尋找曲面交(jiao)點的(de)難題；3.提出一(yi)(yi)種潛在(zai)的(de)場(chang)景(jing)表(biao)示(shi)方(fang)(fang)法(fa)，利用自動(dong)編碼器和(he)超級網(wang)絡(luo)對場(chang)景(jing)來回歸表(biao)示(shi)網(wang)絡(luo)的(de)參數。

經典論文獎

NeurIPS經典論文(wen)獎的授予原則(ze)為"重要(yao)貢(gong)獻、持久影響和廣泛(fan)吸引力"，本屆大會從 2009 年 NIPS 的 18 篇(pian)引用(yong)最多的論文(wen)中選出了持續(xu)影響力最高、對研(yan)究領(ling)域具有(you)杰出貢(gong)獻的研(yan)究。

最終，今年的這一獎項授予 了(le)NIPS 2009 論文《Dual Averaging Method for Regularized Stochastic Learning and Online Optimization》及其(qi)作者，微軟首席研(yan)究(jiu)員(yuan) Lin Xiao。

Lin Xiao曾就(jiu)讀(du)于北京航(hang)空航(hang)天大(da)學和斯坦福大(da)學，自 2006 年(nian)起就(jiu)職于微(wei)軟研(yan)究院(yuan)。他的(de)研(yan)究興趣包括大(da)規(gui)模優(you)化的(de)理論(lun)和算(suan)法，機器學習的(de)隨機和在線算(suan)法，并行計算(suan)和分布式計算(suan)。

Dual Averaging Method for Regularized Stochastic Learning and Online Optimization

論文地址：

該(gai)研(yan)究提出(chu)了用(yong)于(yu)在(zai)線最優化求解(jie)的RDA（Regularized Dual Averaging）方法(fa)，是Lin Xiao在(zai)微軟(ruan)10年的研(yan)究成果(guo)。該(gai)方法(fa)是Simple Dual Averaging Scheme一個擴(kuo)展(zhan)，并更(geng)有效地提升(sheng)了特征權(quan)重的稀疏性。