本屆(jie)NeurIPS大會共收(shou)到6743篇論文投稿，兩年時間翻(fan)了(le)一番。其(qi)中1428篇論文入選(xuan)，入選(xuan)率僅21.1%。百(bai)度共有8篇論文被收(shou)錄(lu)，覆蓋(gai)量化(hua)壓縮(suo)、對(dui)抗訓練等(deng)諸多(duo)前沿(yan)方向。

競(jing)賽(sai)(sai)方面，在NeurIPS 2019: Learn to Move強化學(xue)習賽(sai)(sai)事中(zhong)(zhong)百(bai)度再度蟬聯冠軍，并受邀在Deep RL workshop中(zhong)(zhong)進行專題報告。本(ben)次比賽(sai)(sai)的(de)難度非常大(da)，在參賽(sai)(sai)的(de)近300支隊(dui)伍(wu)中(zhong)(zhong)，僅有3支隊(dui)伍(wu)完(wan)成(cheng)(cheng)了最后(hou)挑戰。百(bai)度基于(yu)飛(fei)槳的(de)強化學(xue)習框(kuang)架PARL不僅成(cheng)(cheng)功完(wan)成(cheng)(cheng)挑戰，還大(da)幅領先第二名（1490vs1346）。除了在Best Performance Track獲(huo)得(de)了第一，相關技術論文也在該賽(sai)(sai)事的(de)Machine Learning Track中(zhong)(zhong)獲(huo)得(de)了Best Paper Reward。

百(bai)度舉辦了(le)(le)(le)自(zi)然(ran)(ran)語言處理專題研(yan)討(tao)會，百(bai)度技術委員(yuan)(yuan)會主席、自(zi)然(ran)(ran)語言處理首(shou)席科學家吳華(hua)博士以及多名研(yan)究員(yuan)(yuan)和工程師，向現(xian)場參會者(zhe)全(quan)面介紹了(le)(le)(le)百(bai)度在這一(yi)領域的長期積(ji)累與(yu)全(quan)新(xin)突破(po)。基于(yu)具有完(wan)全(quan)自(zi)主知識產(chan)權的飛槳平臺，百(bai)度自(zi)然(ran)(ran)語言處理在語義計算、閱讀理解、多輪對話、機器翻譯、開(kai)放平臺與(yu)數據等方向均(jun)取得(de)了(le)(le)(le)突破(po)性(xing)進展，并(bing)進行了(le)(le)(le)大規(gui)模產(chan)業化應用。

預(yu)訓練方面，百度提出知識增強的語(yu)義(yi)表示模型ERNIE及持續學習語(yu)義(yi)理(li)解框架(jia)ERNIE2.0，在共(gong)計16個中英文任務上超越BERT、XLNET，取(qu)得(de)了(le) SOTA 的效果。11月(yue)，百度發(fa)(fa)布基于ERNIE的語(yu)義(yi)理(li)解開(kai)(kai)發(fa)(fa)套(tao)件。從原理(li)、應用到開(kai)(kai)源及平臺化，百度在NLP預(yu)訓練領域進行了(le)極具價值的創新及實踐。

機器(qi)閱(yue)(yue)讀理解(jie)，已成(cheng)為(wei)評估機器(qi)語(yu)言(yan)理解(jie)能力(li)的(de)(de)重要方式，也是(shi)搜索引擎和(he)對(dui)話系統等行業應用中的(de)(de)關鍵技術。百(bai)度建設及發布了(le)最大(da)規模(mo)的(de)(de)中文閱(yue)(yue)讀理解(jie)數據集(ji)DuReader；在(zai)泛化方面提(ti)出訓練框架(jia)D-NET，從多(duo)模(mo)型融合、多(duo)任務學(xue)習的(de)(de)角度提(ti)升模(mo)型的(de)(de)泛化能力(li)；

對(dui)于對(dui)抗樣本(ben)的(de)攻(gong)擊，提出了(le)一種面向閱讀理(li)解(jie)(jie)的(de)對(dui)抗訓(xun)練方法；提出文本(ben)表(biao)示和知識(shi)(shi)表(biao)示的(de)融合模型KT-NET，以解(jie)(jie)決需要外部知識(shi)(shi)和常識(shi)(shi)的(de)問(wen)題。其中具有(you)高魯(lu)棒性(xing)和遷移能(neng)力(li)的(de)閱讀理(li)解(jie)(jie)模型在(zai)2019年MRQA閱讀理(li)解(jie)(jie)評測(ce)中奪(duo)得冠軍。

對(dui)(dui)(dui)(dui)話方面(mian)，提(ti)出了基于(yu)深度(du)(du)注(zhu)意網絡的多輪響(xiang)應選擇(ze)匹配模型DAM(Deep Attention Matching Network)，顯著提(ti)高了口(kou)語(yu)理解能(neng)力。在(zai)對(dui)(dui)(dui)(dui)話系(xi)統框(kuang)(kuang)架中，百度(du)(du)一方面(mian)提(ti)供(gong)(gong)了可(ke)編程(cheng)的對(dui)(dui)(dui)(dui)話管理框(kuang)(kuang)架，并內(nei)置了多個常用標準對(dui)(dui)(dui)(dui)話范(fan)式(shi)，為(wei)在(zai)云端開發靈活(huo)可(ke)變的業務對(dui)(dui)(dui)(dui)話邏輯提(ti)供(gong)(gong)了便利。另一方面(mian)，提(ti)供(gong)(gong)了需求(qiu)分發和全局記(ji)憶機制，支持(chi)多個對(dui)(dui)(dui)(dui)話任務的集成與(yu)聯動，提(ti)高了對(dui)(dui)(dui)(dui)話技能(neng)的可(ke)復用性(xing)，降低(di)了新(xin)業務的重復開發成本。百度(du)(du)可(ke)定制對(dui)(dui)(dui)(dui)話技術依托百度(du)(du)大腦UNIT3.0平臺，支持(chi)5萬多個對(dui)(dui)(dui)(dui)話技能(neng)，廣泛應用于(yu)行業客戶。

機器(qi)翻(fan)譯(yi)領(ling)域(yu)，百(bai)度(du)相繼(ji)提出了(le)多任務學(xue)習、多智能體(ti)聯(lian)合(he)(he)訓練等前(qian)沿(yan)方法(fa)，并(bing)在2019年國際(ji)權威WMT評測(ce)中(zhong)取(qu)得中(zhong)英(ying)翻(fan)譯(yi)第一(yi)。機器(qi)同(tong)聲傳(chuan)(chuan)(chuan)譯(yi)方面百(bai)度(du)走在領(ling)域(yu)前(qian)沿(yan)，提出了(le)首(shou)個具有預測(ce)和可控時(shi)延的同(tong)傳(chuan)(chuan)(chuan)模(mo)(mo)型，首(shou)個語(yu)(yu)(yu)義單(dan)元驅動的上下文(wen)同(tong)傳(chuan)(chuan)(chuan)模(mo)(mo)型，并(bing)研(yan)(yan)發(fa)了(le)業內首(shou)個語(yu)(yu)(yu)音(yin)到語(yu)(yu)(yu)音(yin)的同(tong)傳(chuan)(chuan)(chuan)系統，為用戶提供(gong)高質(zhi)量、低時(shi)延的同(tong)傳(chuan)(chuan)(chuan)體(ti)驗。值得一(yi)提的是，基于在此領(ling)域(yu)取(qu)得的進步，由(you)百(bai)度(du)主導，聯(lian)合(he)(he)Google、Facebook、Upenn、清華等海內外頂(ding)尖(jian)企業及高校共同(tong)組織(zhi)首(shou)屆機器(qi)同(tong)傳(chuan)(chuan)(chuan)研(yan)(yan)討會(hui)，將在本領(ling)域(yu)頂(ding)級會(hui)議(yi)ACL 2020召開(kai)，并(bing)將舉辦(ban)國際(ji)首(shou)屆同(tong)傳(chuan)(chuan)(chuan)評測(ce)，以(yi)進一(yi)步促進技(ji)術發(fa)展(zhan)。此外，百(bai)度(du)還將在領(ling)域(yu)權威會(hui)議(yi)EMNLP 2020中(zhong)舉辦(ban)機器(qi)同(tong)傳(chuan)(chuan)(chuan)tutorial，就機器(qi)同(tong)傳(chuan)(chuan)(chuan)的原理、方法(fa)、前(qian)沿(yan)進展(zhan)進行(xing)講座(zuo)。

百(bai)度自(zi)然語言(yan)處理(li)(li)領域(yu)產(chan)出的(de)(de)卓越成果(guo)背后所(suo)運用(yong)(yong)的(de)(de)底層框架，是(shi)自(zi)研(yan)的(de)(de)開(kai)源(yuan)深(shen)(shen)(shen)度學(xue)(xue)習(xi)(xi)平臺百(bai)度飛(fei)槳(jiang)。近兩年來，飛(fei)槳(jiang)圍(wei)繞(rao)深(shen)(shen)(shen)度學(xue)(xue)習(xi)(xi)框架的(de)(de)基本功能(neng)(neng)、性(xing)能(neng)(neng)、芯片(pian)支(zhi)持的(de)(de)完(wan)備(bei)性(xing)等技術(shu)指標進行了(le)(le)一系列的(de)(de)易用(yong)(yong)性(xing)開(kai)發(fa)(fa)和性(xing)能(neng)(neng)迭代，為開(kai)發(fa)(fa)者(zhe)提供(gong)了(le)(le)優于其他深(shen)(shen)(shen)度學(xue)(xue)習(xi)(xi)框架的(de)(de)使用(yong)(yong)體驗(yan)。在(zai)開(kai)發(fa)(fa)能(neng)(neng)力方(fang)面(mian)，飛(fei)槳(jiang)除了(le)(le)支(zhi)持對常用(yong)(yong)API的(de)(de)調用(yong)(yong)之(zhi)外，還在(zai)編(bian)程(cheng)范式(shi)上(shang)同(tong)時支(zhi)持聲明式(shi)編(bian)程(cheng)和命令式(shi)編(bian)程(cheng)，兼具很好(hao)的(de)(de)靈活性(xing)和穩定(ding)性(xing)，可滿足不(bu)同(tong)開(kai)發(fa)(fa)者(zhe)的(de)(de)開(kai)發(fa)(fa)習(xi)(xi)慣，更(geng)易上(shang)手。在(zai)訓練(lian)(lian)方(fang)面(mian)，飛(fei)槳(jiang)平臺突(tu)破了(le)(le)超大規(gui)模(mo)深(shen)(shen)(shen)度學(xue)(xue)習(xi)(xi)模(mo)型(xing)(xing)訓練(lian)(lian)技術(shu)，研(yan)制了(le)(le)千億(yi)特征、萬億(yi)參數、數百(bai)節點(dian)的(de)(de)開(kai)源(yuan)大規(gui)模(mo)訓練(lian)(lian)平臺，實現了(le)(le)萬億(yi)規(gui)模(mo)參數深(shen)(shen)(shen)度學(xue)(xue)習(xi)(xi)模(mo)型(xing)(xing)的(de)(de)實時更(geng)新。在(zai)自(zi)然語言(yan)處理(li)(li)領域(yu)，PADDLE-NLP提供(gong)了(le)(le)面(mian)向6類任務下的(de)(de)30+算法模(mo)型(xing)(xing)，包(bao)括上(shang)述工作(zuo)中ERNIE、D-NET等多個(ge)國際競賽的(de)(de)冠軍模(mo)型(xing)(xing)。