NeurIPS 2019在溫哥(ge)華正式(shi)開幕(mu),NeurIPS 2019官方公布了本屆杰出論文獎(jiang)(jiang)、經(jing)典論文獎(jiang)(jiang)等重磅獎(jiang)(jiang)項(xiang),其中(zhong)微軟(ruan)華人(ren)研究員Lin Xiao獲得(de)經(jing)典論文獎(jiang)(jiang)。
據悉(xi),本次大會共收(shou)到(dao)有(you)效投稿6743篇(pian)(pian),最終(zhong)1428篇(pian)(pian)論(lun)文(wen)被接收(shou),接收(shou)率達到(dao)21.2%(略(lve)高(gao)于去(qu)年的20.8%)。在接收(shou)的論(lun)文(wen)中,還有(you)36篇(pian)(pian)Oral論(lun)文(wen)和(he)164篇(pian)(pian)Spotlight論(lun)文(wen)。
從每篇(pian)論(lun)文(wen)(wen)作(zuo)(zuo)者(zhe)(zhe)數量來看, NeurIPS2019接收的(de)論(lun)文(wen)(wen)大多數都有(you)3-4個作(zuo)(zuo)者(zhe)(zhe),其中3個作(zuo)(zuo)者(zhe)(zhe)的(de)共有(you)360篇(pian),4個作(zuo)(zuo)者(zhe)(zhe)的(de)共有(you)320篇(pian)。擁有(you)10個作(zuo)(zuo)者(zhe)(zhe)以上的(de)論(lun)文(wen)(wen)共有(you)15篇(pian),其中有(you)1篇(pian)文(wen)(wen)章擁有(you)21個作(zuo)(zuo)者(zhe)(zhe)。
從作(zuo)(zuo)者(zhe)維度(du)分析,NeurIPS2019接收的1427篇(pian)(pian)共(gong)來(lai)自4423位(wei)(wei)作(zuo)(zuo)者(zhe)。其中3692位(wei)(wei)作(zuo)(zuo)者(zhe)有1篇(pian)(pian)入選,510位(wei)(wei)作(zuo)(zuo)者(zhe)有2篇(pian)(pian)入選,132位(wei)(wei)作(zuo)(zuo)者(zhe)有3篇(pian)(pian)入選,48位(wei)(wei)作(zuo)(zuo)者(zhe)有4篇(pian)(pian)入選。
超過(guo)5篇入選(xuan)的作(zuo)者共(gong)有44位(wei)。其中,有1位(wei)作(zuo)者有12篇入選(xuan),他就是加州大學伯克(ke)利分校EECS助理教授(shou)Sergey Levine;其次(ci)是INRIA的大牛Francis Bach,共(gong)有10篇。伯克(ke)利大牛Pieter Abbeel和(he)圖靈獎(jiang)得主Yoshua Bengio都有9篇入選(xuan)。
在華人作(zuo)者(zhe)中,論(lun)文入(ru)選(xuan)數最多的是(shi)陶大(da)程,共(gong)有8篇入(ru)選(xuan)。陶大(da)程是(shi)澳大(da)利亞科學(xue)院院士(shi)、悉尼大(da)學(xue)教授,同時也擔任優必(bi)選(xuan)機器人的首(shou)席科學(xue)家。
來自普(pu)林斯頓大學(xue)運籌學(xue)與金融(rong)工程(cheng)系的博(bo)士研究生(sheng)楊卓然與美(mei)國西北(bei)大學(xue)助(zhu)理教授(shou)Zhaoran Wang分(fen)別(bie)有7篇和(he)6篇論文(wen)入(ru)選。
Zhuoran Yang(楊卓然)是普林斯頓(dun)大(da)學運籌學與(yu)金融工程系的博士(shi)研究(jiu)生。于2015年獲得(de)清華(hua)大(da)學數學系學士(shi)學位,研究(jiu)方向是統計機器學習和(he)增強學習。
從一作(zuo)統計,共有(you)(you)(you)59位作(zuo)者(zhe)有(you)(you)(you)2篇(pian)(pian)(pian)以上(包括2篇(pian)(pian)(pian))論文入選,其(qi)中,以一作(zuo)身份發(fa)表3篇(pian)(pian)(pian)以上論文作(zuo)者(zhe)的共有(you)(you)(you)8位,還有(you)(you)(you)1位作(zuo)者(zhe)發(fa)表了4篇(pian)(pian)(pian),他(ta)就是(shi)“計算機金牌王子(zi)”--朱(zhu)澤園(yuan),在NeurIPS2018與 ICML 2017 上,朱(zhu)澤園(yuan)分別也有(you)(you)(you)4篇(pian)(pian)(pian)、5篇(pian)(pian)(pian)以一作(zuo)論文被(bei)接收。
朱澤園目(mu)前就職于(yu)微軟總(zong)部研(yan)究院,主要致力于(yu)機(ji)器(qi)學(xue)習和優化(hua)問(wen)題(ti)的數(shu)學(xue)基礎(chu)的相關(guan)研(yan)究,并(bing)將它(ta)們應用于(yu)深度學(xue)習、理論計算機(ji)科學(xue)、運籌學(xue)和統計學(xue)。
從作(zuo)者所(suo)屬國家來看,華人(ren)(ren)(ren)參(can)(can)與的論文(wen)(wen)共有656篇,占(zhan)總(zong)論文(wen)(wen)數(shu)(shu)(shu)的46%。其中華人(ren)(ren)(ren)一作(zuo)論文(wen)(wen)共有471篇,占(zhan)華人(ren)(ren)(ren)參(can)(can)與論文(wen)(wen)數(shu)(shu)(shu)的71.8%,占(zhan)總(zong)論文(wen)(wen)數(shu)(shu)(shu)的33%。
從論文所屬機構(gou)來看,Google+DeepMind組合(he)高居榜首,入選論文共(gong)計171篇(pian)。MIT排名第二,92篇(pian)論文入選。斯坦(tan)福大學(xue)、卡內基梅隆(long)大學(xue)排名第三(san),都有85篇(pian)入選。
國內高校中,清華大(da)學入選論(lun)文最多,共(gong)計35篇,排(pai)在總(zong)榜(bang)的第13位;北京大(da)學有25篇入選,排(pai)在總(zong)榜(bang)第19位。
NeurIPS2019 杰出論(lun)(lun)文(wen)(wen)(wen)委員會的(de)(de)五位成員會從做oral presentation的(de)(de)論(lun)(lun)文(wen)(wen)(wen)中進(jin)行選擇,根據論(lun)(lun)文(wen)(wen)(wen)的(de)(de)長期潛力、洞察(cha)力、創造性(xing)、革(ge)命性(xing)、科學性(xing)、可重復性(xing)等原則作(zuo)(zuo)為評(ping)選標準進(jin)行初步(bu)分(fen)類,選出三篇(pian)論(lun)(lun)文(wen)(wen)(wen)的(de)(de)短(duan)名(ming)單(dan)和一個(ge)八篇(pian)備(bei)選論(lun)(lun)文(wen)(wen)(wen)的(de)(de)長名(ming)單(dan),然后各自再對對這八篇(pian)論(lun)(lun)文(wen)(wen)(wen)進(jin)行評(ping)估并為每篇(pian)論(lun)(lun)文(wen)(wen)(wen)定級,同時(shi)也(ye)會尋求更多的(de)(de)專家意見作(zuo)(zuo)為參考(kao),最終(zhong)確定獲獎名(ming)單(dan)。
杰出論文獎
Distribution-Independent PAC Learning of Halfspaces with Massart Noise
作者:Ilias Diakonikolas、Themis Gouleakis、Christos Tzamos(威斯康(kang)辛大學麥迪遜分校、馬普所)
論文地址:
摘(zhai)要:這篇論文研究(jiu)了(le)在訓練(lian)數(shu)據中(zhong)有未知的、有界的標簽噪聲(sheng)的情(qing)況下(xia),如何為二分類(lei)問(wen)題(ti)學(xue)習(xi)(xi)線(xian)性閾值函(han)數(shu)。論文推導出一個在這種(zhong)情(qing)境下(xia)非常高效(xiao)的學(xue)習(xi)(xi)算法,解決(jue)了(le)一個基礎的、長期存在的開放性問(wen)題(ti):在有Massart噪聲(sheng)的情(qing)況下(xia)高效(xiao)地學(xue)習(xi)(xi)半空(kong)間;這也(ye)是機器(qi)學(xue)習(xi)(xi)的核心問(wen)題(ti)之一,這篇論文帶來了(le)巨(ju)大的進步。
論文(wen)中的(de)(de)一個簡(jian)單的(de)(de)例子證(zheng)明了該方法(fa)的(de)(de)效(xiao)果(guo)。在(zai)此之前,只有1% Massart噪(zao)(zao)聲就會讓弱(ruo)學習無(wu)效(xiao)(達到(dao)(dao)49%的(de)(de)錯(cuo)誤(wu)率)。論文(wen)中展示了如何高效(xiao)地讓錯(cuo)誤(wu)水(shui)平(ping)上限(xian)僅僅等于Massart噪(zao)(zao)聲水(shui)平(ping)+ε (算法(fa)的(de)(de)運行時間(jian)為(1/ε)的(de)(de)多(duo)項式,正如預期)。算法(fa)的(de)(de)實現方法(fa)很精密,達到(dao)(dao)這樣(yang)的(de)(de)結果(guo)也有一定的(de)(de)技(ji)術挑戰(zhan)。最終的(de)(de)結果(guo)是,能夠高效(xiao)地在(zai)(1/ε)的(de)(de)多(duo)項式運行時間(jian)內(nei)讓錯(cuo)誤(wu)水(shui)平(ping)上限(xian)為Massart噪(zao)(zao)聲水(shui)平(ping)+ε 。
杰出新方向論文獎
Uniform convergence may be unable to explain generalization in deep learning
作者:Vaishnavh Nagarajan、J. Zico Kolter(卡耐基梅(mei)隆大學、博世(shi)人工智(zhi)能中(zhong)心(xin))
論文地址:
為(wei)了解釋(shi)過(guo)參數化深(shen)度網絡令人(ren)驚(jing)訝的(de)(de)良好泛化性(xing)能,近期的(de)(de)論(lun)文為(wei)深(shen)度學(xue)習開(kai)發出了各種泛化邊(bian)界(jie),這些(xie)邊(bian)界(jie)都是(shi)基(ji)于一致收斂理論(lun)上(shang)的(de)(de)基(ji)本學(xue)習技巧。許多(duo)現有的(de)(de)邊(bian)界(jie)在數值(zhi)上(shang)都很(hen)大(da)(da),通過(guo)大(da)(da)量的(de)(de)實驗,作者揭示了這些(xie)界(jie)限的(de)(de)一個更值(zhi)得(de)關注的(de)(de)方面:實際上(shang),這些(xie)邊(bian)界(jie)可以(yi)隨著訓練數據集(ji)的(de)(de)增大(da)(da)而(er)增大(da)(da)。
根(gen)據觀(guan)察(cha)結果,他們(men)隨后給出(chu)(chu)了(le)一些(xie)用梯度(du)(du)下降(jiang)(gradient descent, GD)訓練(lian)的過參數(shu)(shu)化(hua)線(xian)性分(fen)類(lei)器和(he)神經網絡的例(li)子,而在(zai)這(zhe)(zhe)些(xie)例(li)子中,一致收(shou)(shou)斂(lian)被證明(ming)不能(neng)「解釋泛(fan)化(hua)」--即(ji)使(shi)盡可能(neng)充(chong)分(fen)地考慮了(le)梯度(du)(du)下降(jiang)的隱含偏見。更加確切(qie)地說,即(ji)使(shi)只考慮梯度(du)(du)下降(jiang)輸(shu)出(chu)(chu)的分(fen)類(lei)器集,這(zhe)(zhe)些(xie)分(fen)類(lei)器的測試誤差小于設置中的一些(xie)小的ε。研(yan)究者也表(biao)明(ming),對這(zhe)(zhe)組分(fen)類(lei)器應(ying)用(雙(shuang)邊,two-sided)一致收(shou)(shou)斂(lian)將(jiang)只產(chan)生一個(ge)空洞(dong)的大于 1-ε的泛(fan)化(hua)保證。通(tong)過這(zhe)(zhe)些(xie)發現,研(yan)究者對基于一致收(shou)(shou)斂(lian)的泛(fan)化(hua)邊界的能(neng)力(li)提出(chu)(chu)了(le)質(zhi)疑,從(cong)而全(quan)面了(le)解為什么過參數(shu)(shu)化(hua)深(shen)度(du)(du)網絡泛(fan)化(hua)得很好。
杰出論文獎榮譽提名
Nonparametric density estimation & convergence of GANs under Besov IPM losses
作者(zhe):Ananya Uppal、Shashank Singh、Barnabás Póczos(卡(ka)內基梅(mei)隆大學(xue))
論文地址:
在本文中,作者探究(jiu)了大型損(sun)失函(han)數(shu)族(zu)(zu)(Besov IPM)的(de)非參概率(lv)(lv)密度估(gu)計問題,該函(han)數(shu)族(zu)(zu)包括(kuo) L^p 距(ju)離(li)、總變分距(ju)離(li),以及 Wasserstein 距(ju)離(li)和(he) KolmogorovSmirnov 距(ju)離(li)的(de)泛華版本。對(dui)于(yu)各(ge)種損(sun)失函(han)數(shu)設置(zhi),研究(jiu)者提(ti)供了上下(xia)界(jie),精確(que)明確(que)了損(sun)失函(han)數(shu)與數(shu)據假設的(de)選擇(ze),如(ru)何影響極小極大最優收斂(lian)率(lv)(lv)的(de)確(que)定。
作者(zhe)同樣展(zhan)示了線(xian)性分(fen)布估(gu)(gu)計經常不能達到最優收斂率,例(li)如(ru)經驗分(fen)布或核密度估(gu)(gu)計器(qi)等線(xian)性分(fen)布。他們得出來(lai)的上(shang)下界能幫助泛(fan)化(hua)、統一(yi)或提(ti)升一(yi)些最經典研究成果(guo)。此外,IPM 可以用于形(xing)式(shi)化(hua)生成對(dui)抗網(wang)絡的統計模型。因此,研究者(zhe)展(zhan)示了該結果(guo)如(ru)何(he)表明(ming) GAN 的統計誤差(cha)邊界,例(li)如(ru) GAN 要嚴格超越(yue)最好的線(xian)性估(gu)(gu)計器(qi)。
Fast and Accurate Least-Mean-Squares Solvers
作者:Alaa Maalouf、Ibrahim Jubran、Dan Feldman(以色列海法大學)
論文地址:
本文從線性、Lasso回歸到奇異值分(fen)解和Elastic net,最小均(jun)方算法是許多ML算法的核心。本文展示(shi)了如何在(zai)不損失(shi)精度的情(qing)況下,將(jiang)其(qi)(qi)計算復雜度降(jiang)低一到兩個(ge)(ge)數量級(ji),并改進了數值穩定(ding)性。該方法依賴(lai)于Caratheodory定(ding)理,建立一個(ge)(ge)coreset (d維中d2 + 1個(ge)(ge)點(dian)的集合)足(zu)以表征凸集中的所有(you)n個(ge)(ge)點(dian)。它的新穎之處(chu)在(zai)于提(ti)出了一種(zhong)分(fen)治算法,在(zai)復雜度可(ke)承受的情(qing)況下(O(nd + d5 log n),其(qi)(qi)中d << n))提(ti)取coreset。
杰出新方向論文獎榮譽提名
Putting An End to End-to-End:Gradient-Isolated Learning of Representations
作者:Sindy Lwe、Peter O‘Connor、Bastiaan Veeling(阿(a)姆斯特丹大學)
論文地址:
本文重新(xin)審視了深度網絡的分層構建,使(shi)用了van Oord等人提出(chu)的自監督標(biao)準,特(te)別是當前輸入的表示與空(kong)間或時間相(xiang)近(jin)的輸入之間的相(xiang)互信(xin)息(xi)。
Scene Representation Networks:Continuous 3D-Structure-Aware Neural Scene Representations
作者:Vincent Sitzmann 、Michael Zollhfer、Gordon Wetzstein(斯坦福(fu)大學(xue))
論文地址:
本(ben)文(wen)(wen)提(ti)出了(le)CV中的(de)兩種(zhong)主要方(fang)法:多視圖幾何(he)方(fang)法和深度表示方(fang)法完美地結合在(zai)一起(qi)。具體而言,本(ben)文(wen)(wen)的(de)三大(da)貢獻表現(xian)(xian)在(zai):1.基于(yu)每個體素(su)的(de)神經渲染器,實現(xian)(xian)了(le)場(chang)景的(de)3D感知無(wu)分(fen)辨率渲染;2.提(ti)出一種(zhong)可微分(fen)的(de)ray-marching 算(suan)法,解決(jue)了(le)沿著(zhu)攝像機投射光線(xian)尋找曲面(mian)交點的(de)難題;3.提(ti)出一種(zhong)潛在(zai)的(de)場(chang)景表示方(fang)法,利(li)用自動(dong)編碼器和超級網絡對(dui)場(chang)景來回歸表示網絡的(de)參數(shu)。
經典論文獎
NeurIPS經典論(lun)文(wen)獎的(de)授予(yu)原則為"重要貢獻(xian)、持久影響(xiang)和廣泛吸引力",本屆大會從(cong) 2009 年 NIPS 的(de) 18 篇引用(yong)最(zui)多(duo)的(de)論(lun)文(wen)中選(xuan)出了持續影響(xiang)力最(zui)高、對研究(jiu)領域具(ju)有杰出貢獻(xian)的(de)研究(jiu)。
最終,今年的這一獎(jiang)項(xiang)授予(yu) 了NIPS 2009 論(lun)文《Dual Averaging Method for Regularized Stochastic Learning and Online Optimization》及其(qi)作(zuo)者,微軟首(shou)席研究(jiu)員 Lin Xiao。
Lin Xiao曾就讀于北京(jing)航空航天(tian)大(da)學和(he)斯(si)坦福(fu)大(da)學,自 2006 年起(qi)就職于微軟(ruan)研究(jiu)院。他的研究(jiu)興趣包括大(da)規(gui)模優化的理論和(he)算(suan)(suan)法,機器學習(xi)的隨機和(he)在線算(suan)(suan)法,并行計算(suan)(suan)和(he)分(fen)布(bu)式計算(suan)(suan)。
Dual Averaging Method for Regularized Stochastic Learning and Online Optimization
論文地址:
該(gai)研究(jiu)提(ti)出了用于在線最優(you)化(hua)求(qiu)解的(de)RDA(Regularized Dual Averaging)方法(fa),是Lin Xiao在微軟10年的(de)研究(jiu)成果。該(gai)方法(fa)是Simple Dual Averaging Scheme一個擴展,并更有(you)效地提(ti)升了特(te)征權重的(de)稀疏性。
3年的(de)研(yan)究生學(xue)習,最(zui)終(zhong)都需要完成一篇(pian)完整(zheng)的(de)碩士論文(wen),只有(you)論文(wen)合(he)格才可以順(shun)利畢(bi)業。很多(duo)人些畢(bi)...
期(qi)(qi)刊論文(wen)就是在各(ge)種(zhong)期(qi)(qi)刊雜志上發表(biao)的(de)論文(wen),在期(qi)(qi)刊上發表(biao)論文(wen)是有一定(ding)的(de)格式要求的(de)。一般(ban)來說,期(qi)(qi)...
各大(da)高校對于學生的論(lun)文(wen)重(zhong)(zhong)復率越來越重(zhong)(zhong)視,對于畢業(ye)論(lun)文(wen)查重(zhong)(zhong)率要求也在逐漸提(ti)升。每當畢業(ye)生們(men)在...
NeurIPS 2019在溫哥華(hua)正(zheng)式開幕(mu),NeurIPS 2019官方公(gong)布了本(ben)屆杰出論文(wen)獎...