據(ju)悉，本次大會共收到(dao)有效投稿6743篇，最(zui)終(zhong)1428篇論(lun)文被接收，接收率(lv)達到(dao)21.2%（略高于(yu)去年的20.8%）。在接收的論(lun)文中，還(huan)有36篇Oral論(lun)文和(he)164篇Spotlight論(lun)文。

從每篇(pian)論(lun)文(wen)作者數(shu)量(liang)來看(kan)， NeurIPS2019接收的論(lun)文(wen)大多數(shu)都有(you)(you)3-4個作者，其中3個作者的共有(you)(you)360篇(pian)，4個作者的共有(you)(you)320篇(pian)。擁(yong)有(you)(you)10個作者以上(shang)的論(lun)文(wen)共有(you)(you)15篇(pian)，其中有(you)(you)1篇(pian)文(wen)章擁(yong)有(you)(you)21個作者。

從(cong)作(zuo)者(zhe)(zhe)維(wei)度(du)分析，NeurIPS2019接收(shou)的1427篇(pian)(pian)共來自4423位(wei)作(zuo)者(zhe)(zhe)。其(qi)中3692位(wei)作(zuo)者(zhe)(zhe)有1篇(pian)(pian)入(ru)選(xuan)，510位(wei)作(zuo)者(zhe)(zhe)有2篇(pian)(pian)入(ru)選(xuan)，132位(wei)作(zuo)者(zhe)(zhe)有3篇(pian)(pian)入(ru)選(xuan)，48位(wei)作(zuo)者(zhe)(zhe)有4篇(pian)(pian)入(ru)選(xuan)。

超過(guo)5篇(pian)(pian)入(ru)(ru)選(xuan)的作者(zhe)共有44位。其中，有1位作者(zhe)有12篇(pian)(pian)入(ru)(ru)選(xuan)，他就(jiu)是加(jia)州大學伯克利(li)分校EECS助理(li)教授Sergey Levine；其次是INRIA的大牛Francis Bach，共有10篇(pian)(pian)。伯克利(li)大牛Pieter Abbeel和圖靈獎(jiang)得主(zhu)Yoshua Bengio都(dou)有9篇(pian)(pian)入(ru)(ru)選(xuan)。

在華人作(zuo)者中，論文入(ru)選數(shu)最(zui)多的(de)是陶(tao)大(da)程，共有8篇(pian)入(ru)選。陶(tao)大(da)程是澳大(da)利亞科學院院士(shi)、悉尼(ni)大(da)學教(jiao)授，同時也擔任優必選機器(qi)人的(de)首席(xi)科學家。

來自普林斯頓大學運籌學與金融工(gong)程系的博士(shi)研究(jiu)生楊卓然與美國西北大學助理教授Zhaoran Wang分別有(you)7篇(pian)和6篇(pian)論文入選。

Zhuoran Yang（楊卓然）是(shi)普林斯頓大(da)(da)學(xue)(xue)運(yun)籌學(xue)(xue)與金融(rong)工程(cheng)系(xi)的博士(shi)研究(jiu)生。于2015年(nian)獲得(de)清(qing)華(hua)大(da)(da)學(xue)(xue)數(shu)學(xue)(xue)系(xi)學(xue)(xue)士(shi)學(xue)(xue)位，研究(jiu)方向(xiang)是(shi)統(tong)計機器學(xue)(xue)習和增強學(xue)(xue)習。

從一作統計，共(gong)有59位作者(zhe)有2篇(pian)(pian)(pian)以上（包括(kuo)2篇(pian)(pian)(pian)）論(lun)文入選，其中，以一作身(shen)份發表3篇(pian)(pian)(pian)以上論(lun)文作者(zhe)的(de)共(gong)有8位，還有1位作者(zhe)發表了4篇(pian)(pian)(pian)，他就是“計算(suan)機金牌王子”--朱澤(ze)園，在(zai)NeurIPS2018與 ICML 2017 上，朱澤(ze)園分別也有4篇(pian)(pian)(pian)、5篇(pian)(pian)(pian)以一作論(lun)文被接收。

朱澤園目前就職于微(wei)軟總部研究院，主要致力于機(ji)器學(xue)(xue)習和優化問題的(de)數學(xue)(xue)基礎的(de)相關(guan)研究，并將它們應用于深度學(xue)(xue)習、理論計算機(ji)科(ke)學(xue)(xue)、運籌(chou)學(xue)(xue)和統(tong)計學(xue)(xue)。

從(cong)作(zuo)者所(suo)屬國(guo)家來看，華(hua)人參(can)與的論文(wen)(wen)共有(you)656篇，占總論文(wen)(wen)數的46%。其中華(hua)人一(yi)作(zuo)論文(wen)(wen)共有(you)471篇，占華(hua)人參(can)與論文(wen)(wen)數的71.8%，占總論文(wen)(wen)數的33%。

從論文所(suo)屬(shu)機構(gou)來看(kan)，Google+DeepMind組合高(gao)居榜首，入(ru)(ru)選論文共計171篇。MIT排(pai)名(ming)第二，92篇論文入(ru)(ru)選。斯(si)坦(tan)福大學、卡內基(ji)梅隆大學排(pai)名(ming)第三，都有85篇入(ru)(ru)選。

國內高校中，清華(hua)大學入(ru)(ru)選論文(wen)最(zui)多，共計35篇(pian)，排在總榜的第13位；北京(jing)大學有25篇(pian)入(ru)(ru)選，排在總榜第19位。

NeurIPS2019 杰出論(lun)文(wen)(wen)委員會(hui)(hui)的五位成員會(hui)(hui)從做oral presentation的論(lun)文(wen)(wen)中(zhong)進行選(xuan)擇，根據論(lun)文(wen)(wen)的長期潛力(li)(li)、洞察力(li)(li)、創(chuang)造性(xing)、革(ge)命(ming)性(xing)、科學性(xing)、可重復性(xing)等原則(ze)作為(wei)評選(xuan)標準進行初(chu)步分(fen)類(lei)，選(xuan)出三(san)篇(pian)論(lun)文(wen)(wen)的短名(ming)單和(he)一個八(ba)篇(pian)備選(xuan)論(lun)文(wen)(wen)的長名(ming)單，然后(hou)各自再對(dui)對(dui)這八(ba)篇(pian)論(lun)文(wen)(wen)進行評估并為(wei)每篇(pian)論(lun)文(wen)(wen)定級，同時也會(hui)(hui)尋求更多的專家意見作為(wei)參(can)考，最終確定獲(huo)獎名(ming)單。

杰出論文獎

Distribution-Independent PAC Learning of Halfspaces with Massart Noise

作者：Ilias Diakonikolas、Themis Gouleakis、Christos Tzamos（威斯康(kang)辛(xin)大學麥迪(di)遜分校(xiao)、馬普所(suo)）

論文地址：

摘(zhai)要：這篇(pian)論(lun)(lun)文研究了(le)在(zai)(zai)訓練數(shu)據(ju)中有(you)未知的(de)(de)(de)、有(you)界的(de)(de)(de)標(biao)簽噪(zao)聲的(de)(de)(de)情況下，如何為二分類問(wen)題(ti)學(xue)習(xi)線性閾值(zhi)函數(shu)。論(lun)(lun)文推導出一(yi)個在(zai)(zai)這種情境下非常高效的(de)(de)(de)學(xue)習(xi)算法(fa)，解決了(le)一(yi)個基礎的(de)(de)(de)、長期(qi)存在(zai)(zai)的(de)(de)(de)開放性問(wen)題(ti)：在(zai)(zai)有(you)Massart噪(zao)聲的(de)(de)(de)情況下高效地學(xue)習(xi)半空間(jian)；這也(ye)是(shi)機(ji)器學(xue)習(xi)的(de)(de)(de)核(he)心問(wen)題(ti)之一(yi)，這篇(pian)論(lun)(lun)文帶來了(le)巨大的(de)(de)(de)進步(bu)。

論文中的(de)(de)(de)一個簡單的(de)(de)(de)例子證(zheng)明(ming)了該(gai)方法(fa)的(de)(de)(de)效果。在此之前，只有(you)1% Massart噪(zao)聲就會(hui)讓弱學習無效（達到49%的(de)(de)(de)錯誤率）。論文中展示了如何(he)高(gao)效地(di)讓錯誤水(shui)平上限僅僅等于Massart噪(zao)聲水(shui)平+ε （算法(fa)的(de)(de)(de)運(yun)行時間為（1/ε）的(de)(de)(de)多項式(shi)，正如預期）。算法(fa)的(de)(de)(de)實(shi)現方法(fa)很精密，達到這樣的(de)(de)(de)結(jie)(jie)果也(ye)有(you)一定的(de)(de)(de)技(ji)術挑戰。最終的(de)(de)(de)結(jie)(jie)果是(shi)，能夠高(gao)效地(di)在（1/ε）的(de)(de)(de)多項式(shi)運(yun)行時間內讓錯誤水(shui)平上限為Massart噪(zao)聲水(shui)平+ε 。

杰出新方向論文獎

Uniform convergence may be unable to explain generalization in deep learning

作者：Vaishnavh Nagarajan、J. Zico Kolter（卡耐基梅隆大學、博世人工智(zhi)能中心）

論文地址：

為(wei)了解(jie)釋過參數(shu)化深(shen)度網絡令人驚訝的良好(hao)泛化性能(neng)，近(jin)期(qi)的論(lun)文為(wei)深(shen)度學(xue)習(xi)開發出了各(ge)種(zhong)泛化邊(bian)界(jie)，這(zhe)些(xie)邊(bian)界(jie)都(dou)是基于一致收斂理論(lun)上(shang)的基本學(xue)習(xi)技巧(qiao)。許多現有的邊(bian)界(jie)在數(shu)值(zhi)上(shang)都(dou)很(hen)大，通過大量的實驗(yan)，作者揭示(shi)了這(zhe)些(xie)界(jie)限的一個更值(zhi)得關(guan)注的方面(mian)：實際上(shang)，這(zhe)些(xie)邊(bian)界(jie)可(ke)以隨著訓練數(shu)據集(ji)的增大而增大。

根據(ju)觀(guan)察結(jie)果(guo)，他們隨后(hou)給出了一(yi)(yi)些(xie)(xie)用梯度下降（gradient descent， GD）訓練(lian)的(de)過(guo)(guo)參數化線性分類(lei)(lei)器(qi)和神(shen)經網絡的(de)例(li)子(zi)，而在這些(xie)(xie)例(li)子(zi)中，一(yi)(yi)致(zhi)收(shou)斂被證(zheng)明(ming)不(bu)能「解釋(shi)泛化」--即使盡可能充分地考(kao)慮了梯度下降的(de)隱含(han)偏見。更加確(que)切地說，即使只(zhi)考(kao)慮梯度下降輸出的(de)分類(lei)(lei)器(qi)集(ji)，這些(xie)(xie)分類(lei)(lei)器(qi)的(de)測試誤(wu)差小于設置中的(de)一(yi)(yi)些(xie)(xie)小的(de)ε。研究者也表(biao)明(ming)，對這組分類(lei)(lei)器(qi)應(ying)用（雙(shuang)邊(bian)，two-sided）一(yi)(yi)致(zhi)收(shou)斂將只(zhi)產生一(yi)(yi)個空洞(dong)的(de)大(da)于 1-ε的(de)泛化保證(zheng)。通過(guo)(guo)這些(xie)(xie)發(fa)現，研究者對基于一(yi)(yi)致(zhi)收(shou)斂的(de)泛化邊(bian)界的(de)能力提(ti)出了質疑，從(cong)而全(quan)面了解為什么過(guo)(guo)參數化深度網絡泛化得(de)很好。

杰出論文獎榮譽提名

Nonparametric density estimation & convergence of GANs under Besov IPM losses

作者：Ananya Uppal、Shashank Singh、Barnabás Póczos（卡(ka)內基梅隆大學）

論文地址：

在本文中，作者探(tan)究(jiu)了(le)大(da)型損失函(han)數族(zu)（Besov IPM）的非參(can)概(gai)率(lv)(lv)密度估計問題，該函(han)數族(zu)包括(kuo) L^p 距離(li)、總變(bian)分距離(li)，以及(ji) Wasserstein 距離(li)和 KolmogorovSmirnov 距離(li)的泛華版本。對于(yu)各種損失函(han)數設置，研究(jiu)者提供了(le)上下界(jie)，精(jing)確(que)明確(que)了(le)損失函(han)數與數據假設的選擇，如何影響極小極大(da)最優收斂率(lv)(lv)的確(que)定(ding)。

作者(zhe)同(tong)樣展示(shi)了線(xian)(xian)(xian)性(xing)分(fen)(fen)布(bu)估(gu)計(ji)(ji)(ji)經(jing)常(chang)不能(neng)達到最優收斂率，例(li)如(ru)經(jing)驗(yan)分(fen)(fen)布(bu)或核密度估(gu)計(ji)(ji)(ji)器(qi)等線(xian)(xian)(xian)性(xing)分(fen)(fen)布(bu)。他們(men)得出來的上下(xia)界能(neng)幫(bang)助泛化、統(tong)一(yi)或提升(sheng)一(yi)些(xie)最經(jing)典(dian)研究成果。此外，IPM 可以(yi)用于(yu)形(xing)式化生成對抗網絡的統(tong)計(ji)(ji)(ji)模型。因此，研究者(zhe)展示(shi)了該結果如(ru)何(he)表明 GAN 的統(tong)計(ji)(ji)(ji)誤差邊界，例(li)如(ru) GAN 要嚴格超(chao)越最好的線(xian)(xian)(xian)性(xing)估(gu)計(ji)(ji)(ji)器(qi)。

Fast and Accurate Least-Mean-Squares Solvers

作者(zhe)：Alaa Maalouf、Ibrahim Jubran、Dan Feldman（以(yi)色列(lie)海法大(da)學）

論文地址：

本文(wen)從線性、Lasso回歸到(dao)奇異值分(fen)解和Elastic net，最小(xiao)均方(fang)算(suan)法(fa)(fa)是許多(duo)ML算(suan)法(fa)(fa)的(de)(de)核心。本文(wen)展示了如何在(zai)不損失精度的(de)(de)情況下(xia)(xia)，將其計算(suan)復雜度降低(di)一到(dao)兩個(ge)數(shu)量(liang)級，并改(gai)進了數(shu)值穩定(ding)性。該方(fang)法(fa)(fa)依賴于Caratheodory定(ding)理，建立一個(ge)coreset （d維中d2 + 1個(ge)點的(de)(de)集(ji)合）足以表征凸集(ji)中的(de)(de)所(suo)有(you)n個(ge)點。它的(de)(de)新穎之處在(zai)于提(ti)出了一種(zhong)分(fen)治算(suan)法(fa)(fa)，在(zai)復雜度可(ke)承(cheng)受的(de)(de)情況下(xia)(xia)（O（nd + d5 log n），其中d << n））提(ti)取coreset。

杰出新方向論文獎榮譽提名

Putting An End to End-to-End：Gradient-Isolated Learning of Representations

作者：Sindy Lwe、Peter O‘Connor、Bastiaan Veeling（阿姆(mu)斯特丹大學）

論文地址：

本文重新審(shen)視了(le)深度網絡的分層(ceng)構建，使(shi)用(yong)了(le)van Oord等(deng)人(ren)提出的自(zi)監督標(biao)準，特別是當前輸入的表示與空間或時間相(xiang)近的輸入之間的相(xiang)互信息。

Scene Representation Networks：Continuous 3D-Structure-Aware Neural Scene Representations

作(zuo)者(zhe)：Vincent Sitzmann 、Michael Zollhfer、Gordon Wetzstein（斯坦福大(da)學）

論文地址：

本(ben)文(wen)提出(chu)了(le)(le)CV中的(de)兩種主要方(fang)法：多視(shi)圖幾何方(fang)法和深度表(biao)(biao)(biao)示方(fang)法完美地結合在(zai)一起。具體而言(yan)，本(ben)文(wen)的(de)三大貢獻表(biao)(biao)(biao)現(xian)(xian)在(zai)：1.基于每個體素的(de)神經(jing)渲(xuan)染器，實現(xian)(xian)了(le)(le)場景(jing)的(de)3D感知無分(fen)辨率渲(xuan)染；2.提出(chu)一種可微(wei)分(fen)的(de)ray-marching 算法，解決了(le)(le)沿著攝像(xiang)機投射光線(xian)尋找(zhao)曲面交點(dian)的(de)難題；3.提出(chu)一種潛(qian)在(zai)的(de)場景(jing)表(biao)(biao)(biao)示方(fang)法，利用(yong)自動編(bian)碼器和超(chao)級(ji)網(wang)絡(luo)對(dui)場景(jing)來(lai)回歸(gui)表(biao)(biao)(biao)示網(wang)絡(luo)的(de)參數。

經典論文獎

NeurIPS經典論文獎的(de)授予原則為"重要貢(gong)獻、持(chi)久影響(xiang)(xiang)和廣泛吸引力"，本屆大會從 2009 年 NIPS 的(de) 18 篇引用最(zui)多(duo)的(de)論文中(zhong)選出(chu)了持(chi)續影響(xiang)(xiang)力最(zui)高、對(dui)研(yan)究領域具有杰出(chu)貢(gong)獻的(de)研(yan)究。

最(zui)終，今年的這一獎項授予 了NIPS 2009 論(lun)文《Dual Averaging Method for Regularized Stochastic Learning and Online Optimization》及其作者，微軟首席研究員 Lin Xiao。

Lin Xiao曾就讀于北京航空航天大學和(he)斯坦福大學，自(zi) 2006 年起(qi)就職(zhi)于微(wei)軟研究(jiu)院。他的研究(jiu)興(xing)趣包括(kuo)大規(gui)模優(you)化(hua)的理(li)論和(he)算(suan)(suan)法，機器學習的隨(sui)機和(he)在(zai)線算(suan)(suan)法，并行計算(suan)(suan)和(he)分布式(shi)計算(suan)(suan)。

Dual Averaging Method for Regularized Stochastic Learning and Online Optimization

論文地址：

該研究(jiu)提出了(le)用(yong)于(yu)在線最優化求解的RDA（Regularized Dual Averaging）方(fang)法，是Lin Xiao在微軟10年的研究(jiu)成果(guo)。該方(fang)法是Simple Dual Averaging Scheme一(yi)個擴展，并更有效地(di)提升了(le)特征權重(zhong)的稀疏性。