NeurIPS 2019在溫哥華(hua)正(zheng)式開幕,NeurIPS 2019官方公布了(le)本屆杰出論(lun)文獎(jiang)(jiang)、經典論(lun)文獎(jiang)(jiang)等重磅獎(jiang)(jiang)項,其中微軟華(hua)人(ren)研究員Lin Xiao獲(huo)得經典論(lun)文獎(jiang)(jiang)。
據悉(xi),本次大(da)會共(gong)收到有效投稿6743篇(pian),最終1428篇(pian)論文被接(jie)收,接(jie)收率達到21.2%(略高于(yu)去年的20.8%)。在接(jie)收的論文中,還有36篇(pian)Oral論文和164篇(pian)Spotlight論文。
從每(mei)篇論(lun)文(wen)作(zuo)者(zhe)(zhe)(zhe)數量來看, NeurIPS2019接收(shou)的(de)論(lun)文(wen)大多數都(dou)有(you)(you)(you)3-4個作(zuo)者(zhe)(zhe)(zhe),其中(zhong)(zhong)3個作(zuo)者(zhe)(zhe)(zhe)的(de)共有(you)(you)(you)360篇,4個作(zuo)者(zhe)(zhe)(zhe)的(de)共有(you)(you)(you)320篇。擁有(you)(you)(you)10個作(zuo)者(zhe)(zhe)(zhe)以上的(de)論(lun)文(wen)共有(you)(you)(you)15篇,其中(zhong)(zhong)有(you)(you)(you)1篇文(wen)章擁有(you)(you)(you)21個作(zuo)者(zhe)(zhe)(zhe)。
從作者維度分析(xi),NeurIPS2019接(jie)收的(de)1427篇(pian)共(gong)來自4423位作者。其(qi)中3692位作者有(you)1篇(pian)入選(xuan),510位作者有(you)2篇(pian)入選(xuan),132位作者有(you)3篇(pian)入選(xuan),48位作者有(you)4篇(pian)入選(xuan)。
超過5篇(pian)入選(xuan)的作者共有44位。其中,有1位作者有12篇(pian)入選(xuan),他就是加(jia)州大(da)學伯克利分校EECS助(zhu)理教授Sergey Levine;其次是INRIA的大(da)牛Francis Bach,共有10篇(pian)。伯克利大(da)牛Pieter Abbeel和圖靈獎得主Yoshua Bengio都有9篇(pian)入選(xuan)。
在(zai)華人作者(zhe)中,論文入(ru)選(xuan)數(shu)最(zui)多的(de)是(shi)陶大程(cheng),共(gong)有8篇入(ru)選(xuan)。陶大程(cheng)是(shi)澳大利(li)亞(ya)科學院院士、悉尼大學教授(shou),同時也擔任優必選(xuan)機(ji)器人的(de)首(shou)席科學家。
來自普林(lin)斯頓(dun)大學運籌學與(yu)金(jin)融(rong)工程系的博(bo)士研(yan)究生楊(yang)卓然(ran)與(yu)美國西(xi)北大學助理教授Zhaoran Wang分(fen)別(bie)有7篇(pian)和6篇(pian)論文入選(xuan)。
Zhuoran Yang(楊卓然)是(shi)普林斯頓大學(xue)運籌學(xue)與金融工程系的博士研(yan)究生。于2015年獲得清華大學(xue)數(shu)學(xue)系學(xue)士學(xue)位(wei),研(yan)究方(fang)向是(shi)統計機器學(xue)習(xi)和增(zeng)強學(xue)習(xi)。
從一作(zuo)(zuo)統計(ji)(ji),共(gong)(gong)有59位(wei)作(zuo)(zuo)者有2篇(pian)以上(包括2篇(pian))論(lun)(lun)(lun)文入(ru)選,其中,以一作(zuo)(zuo)身份發(fa)表3篇(pian)以上論(lun)(lun)(lun)文作(zuo)(zuo)者的共(gong)(gong)有8位(wei),還有1位(wei)作(zuo)(zuo)者發(fa)表了4篇(pian),他就(jiu)是(shi)“計(ji)(ji)算機金牌(pai)王(wang)子(zi)”--朱澤園,在NeurIPS2018與(yu) ICML 2017 上,朱澤園分(fen)別也有4篇(pian)、5篇(pian)以一作(zuo)(zuo)論(lun)(lun)(lun)文被接收。
朱澤園目(mu)前就職于(yu)微(wei)軟總(zong)部研究(jiu)院(yuan),主(zhu)要致力于(yu)機(ji)器學(xue)(xue)(xue)習(xi)和優化(hua)問題的(de)數(shu)學(xue)(xue)(xue)基礎的(de)相(xiang)關研究(jiu),并將它們(men)應用于(yu)深(shen)度學(xue)(xue)(xue)習(xi)、理論計算機(ji)科(ke)學(xue)(xue)(xue)、運籌學(xue)(xue)(xue)和統(tong)計學(xue)(xue)(xue)。
從作者所屬(shu)國(guo)家來看(kan),華人參(can)與的(de)論(lun)文(wen)共(gong)有(you)656篇(pian),占總論(lun)文(wen)數的(de)46%。其中華人一作論(lun)文(wen)共(gong)有(you)471篇(pian),占華人參(can)與論(lun)文(wen)數的(de)71.8%,占總論(lun)文(wen)數的(de)33%。
從論文(wen)所屬(shu)機構來看,Google+DeepMind組合高(gao)居榜首,入(ru)(ru)選論文(wen)共計(ji)171篇。MIT排名(ming)第(di)二,92篇論文(wen)入(ru)(ru)選。斯坦福大學、卡內基梅(mei)隆(long)大學排名(ming)第(di)三,都有85篇入(ru)(ru)選。
國內高(gao)校(xiao)中,清華大學入(ru)(ru)選(xuan)(xuan)論文(wen)最多,共計35篇,排(pai)在總(zong)榜的第13位(wei)(wei);北京大學有25篇入(ru)(ru)選(xuan)(xuan),排(pai)在總(zong)榜第19位(wei)(wei)。
NeurIPS2019 杰(jie)出論文(wen)(wen)(wen)委(wei)員會(hui)的(de)五位成員會(hui)從做oral presentation的(de)論文(wen)(wen)(wen)中進行(xing)選(xuan)(xuan)擇,根(gen)據(ju)論文(wen)(wen)(wen)的(de)長(chang)期潛力(li)、洞察力(li)、創(chuang)造(zao)性、革命性、科學性、可重(zhong)復性等原則作為(wei)(wei)評選(xuan)(xuan)標準(zhun)進行(xing)初步分類,選(xuan)(xuan)出三篇(pian)論文(wen)(wen)(wen)的(de)短(duan)名單(dan)和一個八(ba)篇(pian)備選(xuan)(xuan)論文(wen)(wen)(wen)的(de)長(chang)名單(dan),然(ran)后各自再(zai)對對這八(ba)篇(pian)論文(wen)(wen)(wen)進行(xing)評估并為(wei)(wei)每篇(pian)論文(wen)(wen)(wen)定(ding)級,同時也會(hui)尋求(qiu)更多的(de)專家意見(jian)作為(wei)(wei)參考,最終確定(ding)獲獎名單(dan)。
杰出論文獎
Distribution-Independent PAC Learning of Halfspaces with Massart Noise
作(zuo)者:Ilias Diakonikolas、Themis Gouleakis、Christos Tzamos(威(wei)斯康辛大學麥(mai)迪遜分校、馬普所)
論文地址:
摘要:這(zhe)(zhe)篇論文研(yan)究了(le)在(zai)(zai)訓練數(shu)據中(zhong)有(you)未(wei)知的(de)(de)、有(you)界的(de)(de)標簽噪聲的(de)(de)情況下(xia),如(ru)何為(wei)二分類問題學習線性閾值(zhi)函(han)數(shu)。論文推(tui)導出一(yi)個在(zai)(zai)這(zhe)(zhe)種情境下(xia)非常高效(xiao)的(de)(de)學習算法(fa),解決了(le)一(yi)個基(ji)礎的(de)(de)、長期存在(zai)(zai)的(de)(de)開放(fang)性問題:在(zai)(zai)有(you)Massart噪聲的(de)(de)情況下(xia)高效(xiao)地學習半(ban)空間;這(zhe)(zhe)也是機器學習的(de)(de)核(he)心問題之一(yi),這(zhe)(zhe)篇論文帶來了(le)巨大(da)的(de)(de)進步。
論(lun)文中的(de)(de)一個(ge)簡單的(de)(de)例子證明了該方法(fa)的(de)(de)效果。在(zai)此之前,只有1% Massart噪聲就會讓弱學習無效(達到49%的(de)(de)錯誤率)。論(lun)文中展(zhan)示了如(ru)何高(gao)(gao)效地(di)讓錯誤水(shui)平上(shang)限(xian)僅(jin)僅(jin)等(deng)于Massart噪聲水(shui)平+ε (算法(fa)的(de)(de)運行(xing)時間為(1/ε)的(de)(de)多(duo)項(xiang)式(shi),正(zheng)如(ru)預期)。算法(fa)的(de)(de)實現(xian)方法(fa)很精密,達到這(zhe)樣的(de)(de)結果也(ye)有一定(ding)的(de)(de)技術挑戰(zhan)。最(zui)終(zhong)的(de)(de)結果是,能夠高(gao)(gao)效地(di)在(zai)(1/ε)的(de)(de)多(duo)項(xiang)式(shi)運行(xing)時間內讓錯誤水(shui)平上(shang)限(xian)為Massart噪聲水(shui)平+ε 。
杰出新方向論文獎
Uniform convergence may be unable to explain generalization in deep learning
作者:Vaishnavh Nagarajan、J. Zico Kolter(卡耐基梅隆大學、博世人工智能中心)
論文地址:
為了解釋過參數(shu)化深度(du)(du)網絡令人驚(jing)訝的良好泛化性能,近期的論文為深度(du)(du)學習開發(fa)出了各種泛化邊界(jie)(jie),這些邊界(jie)(jie)都(dou)是基于一(yi)致收(shou)斂理(li)論上(shang)的基本學習技巧。許多現有的邊界(jie)(jie)在(zai)數(shu)值(zhi)上(shang)都(dou)很大,通過大量的實(shi)驗,作(zuo)者(zhe)揭示(shi)了這些界(jie)(jie)限的一(yi)個(ge)更值(zhi)得(de)關注的方面(mian):實(shi)際上(shang),這些邊界(jie)(jie)可以隨著訓練數(shu)據集(ji)的增大而增大。
根據觀察(cha)結果,他們(men)隨后(hou)給出了一(yi)些(xie)(xie)用(yong)梯(ti)度(du)下降(jiang)(jiang)(gradient descent, GD)訓練的過參數(shu)化(hua)線性分(fen)(fen)(fen)類(lei)器(qi)和神經網(wang)絡的例(li)子(zi),而(er)在這些(xie)(xie)例(li)子(zi)中,一(yi)致(zhi)(zhi)收(shou)斂(lian)(lian)被(bei)證明(ming)不能「解(jie)(jie)釋泛(fan)化(hua)」--即使盡(jin)可能充分(fen)(fen)(fen)地(di)考(kao)慮(lv)了梯(ti)度(du)下降(jiang)(jiang)的隱含偏見(jian)。更加確切地(di)說(shuo),即使只考(kao)慮(lv)梯(ti)度(du)下降(jiang)(jiang)輸出的分(fen)(fen)(fen)類(lei)器(qi)集,這些(xie)(xie)分(fen)(fen)(fen)類(lei)器(qi)的測試(shi)誤(wu)差小(xiao)于(yu)設(she)置(zhi)中的一(yi)些(xie)(xie)小(xiao)的ε。研(yan)(yan)究者也表明(ming),對這組(zu)分(fen)(fen)(fen)類(lei)器(qi)應用(yong)(雙邊,two-sided)一(yi)致(zhi)(zhi)收(shou)斂(lian)(lian)將只產生一(yi)個空洞的大于(yu) 1-ε的泛(fan)化(hua)保證。通過這些(xie)(xie)發現,研(yan)(yan)究者對基于(yu)一(yi)致(zhi)(zhi)收(shou)斂(lian)(lian)的泛(fan)化(hua)邊界的能力提出了質(zhi)疑,從而(er)全面了解(jie)(jie)為什么過參數(shu)化(hua)深度(du)網(wang)絡泛(fan)化(hua)得很(hen)好。
杰出論文獎榮譽提名
Nonparametric density estimation & convergence of GANs under Besov IPM losses
作者:Ananya Uppal、Shashank Singh、Barnabás Póczos(卡內基(ji)梅隆(long)大學)
論文地址:
在本(ben)文(wen)中(zhong),作者探(tan)究了大(da)型(xing)損失(shi)函(han)數族(zu)(Besov IPM)的非參概(gai)率(lv)密度估計問題,該函(han)數族(zu)包括 L^p 距(ju)(ju)離(li)、總(zong)變分距(ju)(ju)離(li),以(yi)及 Wasserstein 距(ju)(ju)離(li)和 KolmogorovSmirnov 距(ju)(ju)離(li)的泛華版本(ben)。對(dui)于各(ge)種損失(shi)函(han)數設(she)置(zhi),研究者提(ti)供了上下界,精確(que)明確(que)了損失(shi)函(han)數與數據(ju)假(jia)設(she)的選擇,如(ru)何影響極小極大(da)最(zui)優收斂率(lv)的確(que)定。
作者同(tong)樣展(zhan)示了線性(xing)(xing)分布(bu)(bu)估(gu)計經(jing)(jing)常不能達到最優收(shou)斂率,例如經(jing)(jing)驗分布(bu)(bu)或核密(mi)度估(gu)計器等線性(xing)(xing)分布(bu)(bu)。他們(men)得出來(lai)的上下界能幫助泛化、統(tong)一(yi)(yi)或提升一(yi)(yi)些最經(jing)(jing)典研(yan)究(jiu)(jiu)成果。此外,IPM 可以用于形式化生成對抗網絡的統(tong)計模(mo)型。因此,研(yan)究(jiu)(jiu)者展(zhan)示了該(gai)結果如何(he)表明 GAN 的統(tong)計誤(wu)差邊界,例如 GAN 要嚴(yan)格超越最好的線性(xing)(xing)估(gu)計器。
Fast and Accurate Least-Mean-Squares Solvers
作者:Alaa Maalouf、Ibrahim Jubran、Dan Feldman(以(yi)色列(lie)海法(fa)大(da)學)
論文地址:
本文從線性、Lasso回歸到奇異值分(fen)解和Elastic net,最小均方算法(fa)是許(xu)多ML算法(fa)的(de)(de)核心。本文展示了如何在(zai)不(bu)損失(shi)精度的(de)(de)情(qing)況下,將其計(ji)算復(fu)雜(za)度降低(di)一(yi)到兩個(ge)(ge)數量級,并改進(jin)了數值穩(wen)定(ding)(ding)性。該方法(fa)依賴于Caratheodory定(ding)(ding)理,建立一(yi)個(ge)(ge)coreset (d維中(zhong)d2 + 1個(ge)(ge)點的(de)(de)集合)足以表(biao)征凸集中(zhong)的(de)(de)所有n個(ge)(ge)點。它的(de)(de)新穎之處在(zai)于提(ti)出了一(yi)種(zhong)分(fen)治(zhi)算法(fa),在(zai)復(fu)雜(za)度可承受的(de)(de)情(qing)況下(O(nd + d5 log n),其中(zhong)d << n))提(ti)取coreset。
杰出新方向論文獎榮譽提名
Putting An End to End-to-End:Gradient-Isolated Learning of Representations
作者:Sindy Lwe、Peter O‘Connor、Bastiaan Veeling(阿姆斯特丹大學)
論文地址:
本文重新審視了深度(du)網絡的(de)分層構建,使用了van Oord等人提出的(de)自監督標準,特別(bie)是當前輸入的(de)表(biao)示與空間或時(shi)間相近的(de)輸入之間的(de)相互信息。
Scene Representation Networks:Continuous 3D-Structure-Aware Neural Scene Representations
作(zuo)者:Vincent Sitzmann 、Michael Zollhfer、Gordon Wetzstein(斯坦福大學)
論文地址:
本文提出了(le)CV中(zhong)的(de)(de)(de)兩種(zhong)(zhong)(zhong)主(zhu)要(yao)方(fang)(fang)法(fa):多視圖幾(ji)何方(fang)(fang)法(fa)和(he)深度表(biao)(biao)示(shi)方(fang)(fang)法(fa)完美地結(jie)合在一起。具體(ti)而言,本文的(de)(de)(de)三大貢獻(xian)表(biao)(biao)現(xian)在:1.基于每個體(ti)素的(de)(de)(de)神經渲染器(qi),實現(xian)了(le)場(chang)景(jing)的(de)(de)(de)3D感知無分辨率渲染;2.提出一種(zhong)(zhong)(zhong)可(ke)微分的(de)(de)(de)ray-marching 算法(fa),解決了(le)沿著攝像機(ji)投(tou)射光線(xian)尋找曲面交點的(de)(de)(de)難題(ti);3.提出一種(zhong)(zhong)(zhong)潛在的(de)(de)(de)場(chang)景(jing)表(biao)(biao)示(shi)方(fang)(fang)法(fa),利用自動編碼器(qi)和(he)超級網絡(luo)對場(chang)景(jing)來回歸表(biao)(biao)示(shi)網絡(luo)的(de)(de)(de)參數。
經典論文獎
NeurIPS經典(dian)論(lun)文獎的(de)(de)授予原則為"重要(yao)貢(gong)獻(xian)、持久影響和廣泛(fan)吸(xi)引力",本屆大會從 2009 年 NIPS 的(de)(de) 18 篇引用最多的(de)(de)論(lun)文中(zhong)選(xuan)出(chu)了持續影響力最高(gao)、對研究(jiu)領域具有杰出(chu)貢(gong)獻(xian)的(de)(de)研究(jiu)。
最終,今年的(de)這一獎(jiang)項授予 了NIPS 2009 論文《Dual Averaging Method for Regularized Stochastic Learning and Online Optimization》及其(qi)作者,微(wei)軟首席研究員 Lin Xiao。
Lin Xiao曾就(jiu)讀于(yu)北京航(hang)空航(hang)天(tian)大(da)學(xue)和斯坦(tan)福大(da)學(xue),自(zi) 2006 年(nian)起就(jiu)職于(yu)微軟研(yan)(yan)究院。他的(de)研(yan)(yan)究興趣包括大(da)規模優化的(de)理論和算法(fa),機器學(xue)習(xi)的(de)隨機和在線算法(fa),并行(xing)計算和分布式計算。
Dual Averaging Method for Regularized Stochastic Learning and Online Optimization
論文地址:
該(gai)研究提出了用于在線最優化求解(jie)的(de)RDA(Regularized Dual Averaging)方法,是Lin Xiao在微軟10年的(de)研究成果。該(gai)方法是Simple Dual Averaging Scheme一個擴(kuo)展,并更有效地提升了特(te)征(zheng)權(quan)重的(de)稀疏性。
3年的研究生學習,最終都需要完成(cheng)一(yi)篇完整的碩(shuo)士(shi)論文,只有論文合格才可以順利畢(bi)業。很多人些畢(bi)...
期(qi)刊(kan)論文就是(shi)(shi)在各(ge)種期(qi)刊(kan)雜(za)志上發(fa)表的(de)論文,在期(qi)刊(kan)上發(fa)表論文是(shi)(shi)有一定(ding)的(de)格(ge)式要求的(de)。一般來說,期(qi)...
各大高校(xiao)對于(yu)學生的論文(wen)(wen)重復率越(yue)來(lai)越(yue)重視,對于(yu)畢業(ye)論文(wen)(wen)查重率要(yao)求(qiu)也在逐漸提升(sheng)。每當畢業(ye)生們在...
NeurIPS 2019在溫哥(ge)華(hua)正式開幕,NeurIPS 2019官方公布了本屆杰(jie)出論(lun)文獎...