據悉，本次大會共收(shou)到有效投稿(gao)6743篇，最終(zhong)1428篇論文被接收(shou)，接收(shou)率達到21.2%（略高于去年的(de)20.8%）。在(zai)接收(shou)的(de)論文中，還有36篇Oral論文和(he)164篇Spotlight論文。

從每篇論文(wen)(wen)作者(zhe)數(shu)(shu)量來看(kan)， NeurIPS2019接收(shou)的(de)論文(wen)(wen)大多數(shu)(shu)都(dou)有(you)3-4個(ge)作者(zhe)，其中3個(ge)作者(zhe)的(de)共有(you)360篇，4個(ge)作者(zhe)的(de)共有(you)320篇。擁(yong)有(you)10個(ge)作者(zhe)以上的(de)論文(wen)(wen)共有(you)15篇，其中有(you)1篇文(wen)(wen)章(zhang)擁(yong)有(you)21個(ge)作者(zhe)。

從(cong)作(zuo)者(zhe)(zhe)維(wei)度分析，NeurIPS2019接(jie)收的1427篇(pian)(pian)共來自4423位(wei)作(zuo)者(zhe)(zhe)。其中3692位(wei)作(zuo)者(zhe)(zhe)有(you)(you)1篇(pian)(pian)入(ru)選(xuan)(xuan)，510位(wei)作(zuo)者(zhe)(zhe)有(you)(you)2篇(pian)(pian)入(ru)選(xuan)(xuan)，132位(wei)作(zuo)者(zhe)(zhe)有(you)(you)3篇(pian)(pian)入(ru)選(xuan)(xuan)，48位(wei)作(zuo)者(zhe)(zhe)有(you)(you)4篇(pian)(pian)入(ru)選(xuan)(xuan)。

超過5篇(pian)入選(xuan)(xuan)的(de)作(zuo)(zuo)者共有44位。其中，有1位作(zuo)(zuo)者有12篇(pian)入選(xuan)(xuan)，他就(jiu)是加州大(da)學伯克利分校EECS助理教授Sergey Levine；其次是INRIA的(de)大(da)牛Francis Bach，共有10篇(pian)。伯克利大(da)牛Pieter Abbeel和圖靈(ling)獎(jiang)得主Yoshua Bengio都有9篇(pian)入選(xuan)(xuan)。

在華人(ren)作者中，論文入(ru)選(xuan)(xuan)數最(zui)多(duo)的是(shi)陶(tao)大程(cheng)，共有8篇入(ru)選(xuan)(xuan)。陶(tao)大程(cheng)是(shi)澳大利亞科學(xue)院院士、悉(xi)尼大學(xue)教授，同時也擔任優(you)必選(xuan)(xuan)機器人(ren)的首席科學(xue)家。

來自普林(lin)斯頓大(da)學運(yun)籌學與金融(rong)工程系的博士(shi)研究(jiu)生(sheng)楊卓然與美國西北大(da)學助理教(jiao)授(shou)Zhaoran Wang分別有7篇(pian)和6篇(pian)論文入選。

Zhuoran Yang（楊卓然(ran)）是(shi)普(pu)林斯頓(dun)大學(xue)運(yun)籌學(xue)與金融工程系的博士研究生。于2015年獲(huo)得清華(hua)大學(xue)數(shu)學(xue)系學(xue)士學(xue)位，研究方向是(shi)統(tong)計機器學(xue)習和增強學(xue)習。

從一作(zuo)(zuo)統計(ji)，共有(you)59位(wei)作(zuo)(zuo)者(zhe)有(you)2篇以(yi)上(shang)（包括2篇）論(lun)文入(ru)選，其中，以(yi)一作(zuo)(zuo)身份發(fa)表3篇以(yi)上(shang)論(lun)文作(zuo)(zuo)者(zhe)的共有(you)8位(wei)，還有(you)1位(wei)作(zuo)(zuo)者(zhe)發(fa)表了4篇，他就是“計(ji)算機金牌(pai)王子”--朱澤園(yuan)(yuan)，在NeurIPS2018與 ICML 2017 上(shang)，朱澤園(yuan)(yuan)分(fen)別也有(you)4篇、5篇以(yi)一作(zuo)(zuo)論(lun)文被(bei)接(jie)收。

朱澤園目(mu)前(qian)就(jiu)職于(yu)微軟總(zong)部研(yan)究院，主要致(zhi)力于(yu)機器學(xue)習和(he)優(you)化問題的(de)數學(xue)基(ji)礎(chu)的(de)相關(guan)研(yan)究，并(bing)將它們應用于(yu)深度學(xue)習、理論計算機科學(xue)、運(yun)籌學(xue)和(he)統(tong)計學(xue)。

從作(zuo)(zuo)者所屬國家來(lai)看，華人(ren)參(can)與的論(lun)文(wen)(wen)(wen)共有656篇，占(zhan)總(zong)論(lun)文(wen)(wen)(wen)數的46%。其(qi)中華人(ren)一作(zuo)(zuo)論(lun)文(wen)(wen)(wen)共有471篇，占(zhan)華人(ren)參(can)與論(lun)文(wen)(wen)(wen)數的71.8%，占(zhan)總(zong)論(lun)文(wen)(wen)(wen)數的33%。

從論文所屬機構來看，Google+DeepMind組合高居榜(bang)首，入(ru)(ru)(ru)選(xuan)論文共計171篇(pian)。MIT排(pai)名(ming)第(di)二，92篇(pian)論文入(ru)(ru)(ru)選(xuan)。斯坦(tan)福大學(xue)、卡內基(ji)梅隆大學(xue)排(pai)名(ming)第(di)三，都有85篇(pian)入(ru)(ru)(ru)選(xuan)。

國內高(gao)校中，清華(hua)大學(xue)入選(xuan)論文最多，共(gong)計35篇，排(pai)在(zai)總榜的第13位；北京大學(xue)有25篇入選(xuan)，排(pai)在(zai)總榜第19位。

NeurIPS2019 杰出論(lun)(lun)文(wen)(wen)委員(yuan)會(hui)的(de)(de)五(wu)位成員(yuan)會(hui)從做oral presentation的(de)(de)論(lun)(lun)文(wen)(wen)中(zhong)進行(xing)選擇，根(gen)據論(lun)(lun)文(wen)(wen)的(de)(de)長(chang)期潛力(li)、洞察力(li)、創造性(xing)、革命(ming)性(xing)、科學(xue)性(xing)、可重(zhong)復(fu)性(xing)等(deng)原則作(zuo)為(wei)(wei)評(ping)選標準(zhun)進行(xing)初步(bu)分(fen)類，選出三篇(pian)論(lun)(lun)文(wen)(wen)的(de)(de)短名單和(he)一個八(ba)篇(pian)備選論(lun)(lun)文(wen)(wen)的(de)(de)長(chang)名單，然后各(ge)自再對(dui)對(dui)這八(ba)篇(pian)論(lun)(lun)文(wen)(wen)進行(xing)評(ping)估并(bing)為(wei)(wei)每篇(pian)論(lun)(lun)文(wen)(wen)定(ding)級，同時也會(hui)尋(xun)求更多的(de)(de)專家(jia)意見作(zuo)為(wei)(wei)參考，最終確定(ding)獲獎(jiang)名單。

杰出論文獎

Distribution-Independent PAC Learning of Halfspaces with Massart Noise

作者：Ilias Diakonikolas、Themis Gouleakis、Christos Tzamos（威(wei)斯康(kang)辛大學麥迪(di)遜分校、馬普所）

論文地址：

摘(zhai)要：這(zhe)(zhe)篇論(lun)(lun)文(wen)研究了(le)在訓練(lian)數據中有未知的(de)、有界的(de)標簽噪(zao)聲(sheng)的(de)情(qing)況(kuang)(kuang)下(xia)(xia)(xia)，如何為二分(fen)類問題(ti)(ti)學(xue)習(xi)線性閾值函數。論(lun)(lun)文(wen)推導(dao)出(chu)一個在這(zhe)(zhe)種情(qing)境下(xia)(xia)(xia)非常高(gao)效的(de)學(xue)習(xi)算法，解決了(le)一個基礎的(de)、長期存在的(de)開放性問題(ti)(ti)：在有Massart噪(zao)聲(sheng)的(de)情(qing)況(kuang)(kuang)下(xia)(xia)(xia)高(gao)效地學(xue)習(xi)半空間；這(zhe)(zhe)也是(shi)機器學(xue)習(xi)的(de)核心問題(ti)(ti)之一，這(zhe)(zhe)篇論(lun)(lun)文(wen)帶來了(le)巨大(da)的(de)進步。

論文中的(de)(de)(de)一個簡單的(de)(de)(de)例子證明(ming)了該方法的(de)(de)(de)效(xiao)(xiao)果(guo)。在此之前(qian)，只有(you)1% Massart噪(zao)聲(sheng)就會(hui)讓弱學習無效(xiao)(xiao)（達到(dao)49%的(de)(de)(de)錯誤率(lv)）。論文中展示了如何高(gao)(gao)效(xiao)(xiao)地(di)讓錯誤水平上限(xian)僅(jin)僅(jin)等于Massart噪(zao)聲(sheng)水平+ε （算(suan)法的(de)(de)(de)運行時(shi)間(jian)為（1/ε）的(de)(de)(de)多項式，正如預期）。算(suan)法的(de)(de)(de)實現方法很精密，達到(dao)這樣的(de)(de)(de)結果(guo)也有(you)一定的(de)(de)(de)技(ji)術挑戰。最終的(de)(de)(de)結果(guo)是，能夠高(gao)(gao)效(xiao)(xiao)地(di)在（1/ε）的(de)(de)(de)多項式運行時(shi)間(jian)內(nei)讓錯誤水平上限(xian)為Massart噪(zao)聲(sheng)水平+ε 。

杰出新方向論文獎

Uniform convergence may be unable to explain generalization in deep learning

作者：Vaishnavh Nagarajan、J. Zico Kolter（卡耐(nai)基梅隆大學、博(bo)世(shi)人(ren)工智能中心）

論文地址：

為了(le)解釋過(guo)(guo)參(can)數化(hua)深度網絡令(ling)人驚訝(ya)的良好泛化(hua)性(xing)能，近期的論文為深度學習(xi)開發出了(le)各種(zhong)泛化(hua)邊(bian)(bian)界(jie)，這些(xie)(xie)邊(bian)(bian)界(jie)都是基(ji)于一致收(shou)斂理(li)論上(shang)的基(ji)本學習(xi)技巧。許(xu)多現有的邊(bian)(bian)界(jie)在數值(zhi)上(shang)都很大(da)，通過(guo)(guo)大(da)量的實(shi)驗(yan)，作者揭示了(le)這些(xie)(xie)界(jie)限的一個更值(zhi)得關注(zhu)的方面：實(shi)際上(shang)，這些(xie)(xie)邊(bian)(bian)界(jie)可以隨著訓練數據集的增大(da)而增大(da)。

根據觀察結果(guo)，他們隨后(hou)給出了(le)(le)一(yi)些用梯度(du)下降(jiang)(jiang)（gradient descent， GD）訓練的(de)(de)(de)(de)過參數化(hua)(hua)線性分類器(qi)和神經網(wang)絡(luo)的(de)(de)(de)(de)例(li)(li)子(zi)，而(er)在這(zhe)些例(li)(li)子(zi)中(zhong)，一(yi)致收斂被(bei)證明不能「解(jie)釋泛化(hua)(hua)」--即使盡可能充分地考慮(lv)了(le)(le)梯度(du)下降(jiang)(jiang)的(de)(de)(de)(de)隱含偏見。更加確切地說，即使只考慮(lv)梯度(du)下降(jiang)(jiang)輸出的(de)(de)(de)(de)分類器(qi)集，這(zhe)些分類器(qi)的(de)(de)(de)(de)測試誤差(cha)小(xiao)于(yu)設置中(zhong)的(de)(de)(de)(de)一(yi)些小(xiao)的(de)(de)(de)(de)ε。研究者也表明，對這(zhe)組分類器(qi)應用（雙邊(bian)，two-sided）一(yi)致收斂將只產生(sheng)一(yi)個空洞的(de)(de)(de)(de)大于(yu) 1-ε的(de)(de)(de)(de)泛化(hua)(hua)保證。通(tong)過這(zhe)些發現，研究者對基于(yu)一(yi)致收斂的(de)(de)(de)(de)泛化(hua)(hua)邊(bian)界(jie)的(de)(de)(de)(de)能力提出了(le)(le)質疑，從(cong)而(er)全面(mian)了(le)(le)解(jie)為什么過參數化(hua)(hua)深度(du)網(wang)絡(luo)泛化(hua)(hua)得(de)很好。

杰出論文獎榮譽提名

Nonparametric density estimation & convergence of GANs under Besov IPM losses

作者(zhe)：Ananya Uppal、Shashank Singh、Barnabás Póczos（卡內基梅(mei)隆(long)大學）

論文地址：

在(zai)本文中，作者(zhe)探(tan)究(jiu)了(le)大(da)型損失函數(shu)(shu)族（Besov IPM）的非參(can)概率密度估計問題(ti)，該函數(shu)(shu)族包(bao)括 L^p 距(ju)(ju)離(li)(li)、總變分(fen)距(ju)(ju)離(li)(li)，以及 Wasserstein 距(ju)(ju)離(li)(li)和(he) KolmogorovSmirnov 距(ju)(ju)離(li)(li)的泛(fan)華版本。對于各(ge)種損失函數(shu)(shu)設(she)置，研究(jiu)者(zhe)提供了(le)上下(xia)界，精確明(ming)確了(le)損失函數(shu)(shu)與數(shu)(shu)據假設(she)的選擇(ze)，如(ru)何影響極(ji)(ji)小極(ji)(ji)大(da)最優收(shou)斂率的確定。

作者同(tong)樣展示了線性分布估計(ji)(ji)經(jing)常不(bu)能(neng)(neng)達到(dao)最(zui)優收斂率，例(li)如經(jing)驗分布或核密度估計(ji)(ji)器等線性分布。他們得(de)出來的上下(xia)界能(neng)(neng)幫(bang)助泛(fan)化、統(tong)一或提升(sheng)一些(xie)最(zui)經(jing)典研究成(cheng)(cheng)果(guo)。此外，IPM 可以用于形式化生成(cheng)(cheng)對抗(kang)網絡(luo)的統(tong)計(ji)(ji)模型。因此，研究者展示了該(gai)結果(guo)如何表明 GAN 的統(tong)計(ji)(ji)誤(wu)差邊界，例(li)如 GAN 要嚴格超越最(zui)好的線性估計(ji)(ji)器。

Fast and Accurate Least-Mean-Squares Solvers

作者：Alaa Maalouf、Ibrahim Jubran、Dan Feldman（以色列(lie)海法大學）

論文地址：

本文(wen)從線性、Lasso回歸到(dao)奇異值(zhi)分(fen)解和Elastic net，最小均(jun)方(fang)算(suan)(suan)法(fa)是許多ML算(suan)(suan)法(fa)的(de)核(he)心(xin)。本文(wen)展示(shi)了(le)如何在不損失(shi)精度的(de)情況下，將其(qi)計算(suan)(suan)復(fu)雜(za)度降低一到(dao)兩個數(shu)(shu)量級，并改進了(le)數(shu)(shu)值(zhi)穩(wen)定(ding)(ding)性。該方(fang)法(fa)依賴于Caratheodory定(ding)(ding)理，建立一個coreset （d維(wei)中d2 + 1個點(dian)的(de)集合）足(zu)以(yi)表征凸集中的(de)所有n個點(dian)。它的(de)新穎之處在于提出了(le)一種分(fen)治算(suan)(suan)法(fa)，在復(fu)雜(za)度可承(cheng)受的(de)情況下（O（nd + d5 log n），其(qi)中d << n））提取coreset。

杰出新方向論文獎榮譽提名

Putting An End to End-to-End：Gradient-Isolated Learning of Representations

作者(zhe)：Sindy Lwe、Peter O‘Connor、Bastiaan Veeling（阿姆(mu)斯特丹大學）

論文地址：

本文(wen)重新(xin)審視了深度(du)網絡的分層構建，使用了van Oord等人提出的自監督標準，特別是(shi)當前(qian)輸(shu)入的表示與空(kong)間(jian)或時間(jian)相近(jin)的輸(shu)入之(zhi)間(jian)的相互信息。

Scene Representation Networks：Continuous 3D-Structure-Aware Neural Scene Representations

作者：Vincent Sitzmann 、Michael Zollhfer、Gordon Wetzstein（斯(si)坦福大學）

論文地址：

本(ben)文提(ti)出(chu)了(le)CV中的(de)(de)兩(liang)種(zhong)主要方(fang)法(fa)：多視圖幾何(he)方(fang)法(fa)和深度表(biao)(biao)示(shi)方(fang)法(fa)完美地結合在(zai)一(yi)起。具(ju)體(ti)而言，本(ben)文的(de)(de)三大(da)貢獻表(biao)(biao)現(xian)(xian)在(zai)：1.基于每個體(ti)素的(de)(de)神經渲染器(qi)，實現(xian)(xian)了(le)場(chang)景(jing)的(de)(de)3D感知無分辨率渲染；2.提(ti)出(chu)一(yi)種(zhong)可微分的(de)(de)ray-marching 算(suan)法(fa)，解(jie)決了(le)沿著攝像(xiang)機(ji)投射光線尋找曲面交點的(de)(de)難題；3.提(ti)出(chu)一(yi)種(zhong)潛(qian)在(zai)的(de)(de)場(chang)景(jing)表(biao)(biao)示(shi)方(fang)法(fa)，利用自動編碼(ma)器(qi)和超級網(wang)絡(luo)對(dui)場(chang)景(jing)來回歸(gui)表(biao)(biao)示(shi)網(wang)絡(luo)的(de)(de)參數(shu)。

經典論文獎

NeurIPS經典論(lun)文獎的授予原則為(wei)"重(zhong)要貢獻(xian)、持久影(ying)響(xiang)和廣(guang)泛吸引力(li)"，本(ben)屆大會從 2009 年 NIPS 的 18 篇引用最多的論(lun)文中選出了持續影(ying)響(xiang)力(li)最高、對(dui)研究(jiu)領域具有杰出貢獻(xian)的研究(jiu)。

最(zui)終(zhong)，今年(nian)的這一獎項授予(yu) 了(le)NIPS 2009 論(lun)文《Dual Averaging Method for Regularized Stochastic Learning and Online Optimization》及其作(zuo)者，微(wei)軟首席研究員 Lin Xiao。

Lin Xiao曾(ceng)就讀(du)于北京航空航天大(da)(da)學和(he)斯坦福大(da)(da)學，自 2006 年起就職于微軟研(yan)究院。他的(de)研(yan)究興趣包括大(da)(da)規模優化的(de)理論和(he)算(suan)法，機器學習(xi)的(de)隨機和(he)在(zai)線算(suan)法，并行計算(suan)和(he)分(fen)布式計算(suan)。

Dual Averaging Method for Regularized Stochastic Learning and Online Optimization

論文地址：

該(gai)研究提出了(le)用于在線最優化求解的(de)RDA（Regularized Dual Averaging）方法，是Lin Xiao在微軟(ruan)10年的(de)研究成果。該(gai)方法是Simple Dual Averaging Scheme一(yi)個(ge)擴展，并(bing)更有效地(di)提升了(le)特征權重的(de)稀疏性(xing)。