本(ben)屆NeurIPS大會共收到6743篇(pian)論(lun)文(wen)(wen)投稿(gao)，兩年時(shi)間翻(fan)了一(yi)番。其(qi)中(zhong)1428篇(pian)論(lun)文(wen)(wen)入選，入選率(lv)僅21.1%。百度共有8篇(pian)論(lun)文(wen)(wen)被收錄，覆蓋量化(hua)壓(ya)縮、對抗訓練等諸多前沿(yan)方(fang)向。

競賽方面(mian)，在(zai)NeurIPS 2019: Learn to Move強化學習賽事中(zhong)百(bai)度(du)再(zai)度(du)蟬聯冠軍，并受邀在(zai)Deep RL workshop中(zhong)進行專題報(bao)告。本次比賽的難度(du)非(fei)常(chang)大(da)，在(zai)參(can)賽的近300支隊伍中(zhong)，僅有(you)3支隊伍完(wan)(wan)成(cheng)(cheng)了(le)最后挑(tiao)戰。百(bai)度(du)基(ji)于飛槳的強化學習框架PARL不(bu)僅成(cheng)(cheng)功完(wan)(wan)成(cheng)(cheng)挑(tiao)戰，還大(da)幅領先第二名（1490vs1346）。除(chu)了(le)在(zai)Best Performance Track獲得了(le)第一，相(xiang)關(guan)技(ji)術論文也在(zai)該賽事的Machine Learning Track中(zhong)獲得了(le)Best Paper Reward。

百度舉辦了自(zi)然語言(yan)處理(li)專題(ti)研討會(hui)(hui)，百度技術(shu)委(wei)員會(hui)(hui)主(zhu)席、自(zi)然語言(yan)處理(li)首席科學家吳華博士以及多名(ming)研究員和工程(cheng)師，向現場參會(hui)(hui)者全面介紹了百度在(zai)這一領域的長期積累與全新突(tu)破(po)。基(ji)于具有完全自(zi)主(zhu)知識產(chan)權的飛槳平臺(tai)，百度自(zi)然語言(yan)處理(li)在(zai)語義計算(suan)、閱讀理(li)解、多輪對話、機器翻譯、開(kai)放平臺(tai)與數據等方向均(jun)取得了突(tu)破(po)性進展，并(bing)進行了大規模產(chan)業化(hua)應用(yong)。

預訓練方面，百度(du)(du)提出知識增強的語(yu)義(yi)表示模型(xing)ERNIE及持續學習語(yu)義(yi)理(li)(li)解(jie)(jie)框架ERNIE2.0，在共計16個中英(ying)文(wen)任(ren)務上(shang)超(chao)越BERT、XLNET，取得了(le) SOTA 的效果。11月，百度(du)(du)發布基于ERNIE的語(yu)義(yi)理(li)(li)解(jie)(jie)開(kai)發套件。從(cong)原理(li)(li)、應用到開(kai)源及平臺化，百度(du)(du)在NLP預訓練領域進行了(le)極(ji)具價值的創新及實踐。

機(ji)器閱(yue)讀理解(jie)，已成為(wei)評(ping)估機(ji)器語言(yan)理解(jie)能力的(de)重要方式，也(ye)是搜索引擎和對(dui)話系統等行(xing)業應用中的(de)關鍵技術。百度(du)建設(she)及發(fa)布了最大規模的(de)中文閱(yue)讀理解(jie)數據集(ji)DuReader；在(zai)泛化(hua)方面提出(chu)訓練(lian)框(kuang)架D-NET，從(cong)多模型融合(he)、多任務(wu)學習的(de)角度(du)提升模型的(de)泛化(hua)能力；

對(dui)于對(dui)抗樣本(ben)的攻擊(ji)，提出(chu)了一(yi)種面向閱讀(du)理(li)解的對(dui)抗訓練方法；提出(chu)文本(ben)表示和(he)知識(shi)表示的融(rong)合模型KT-NET，以解決需要外部知識(shi)和(he)常識(shi)的問題。其中(zhong)具有(you)高魯棒(bang)性和(he)遷(qian)移能力的閱讀(du)理(li)解模型在2019年(nian)MRQA閱讀(du)理(li)解評測中(zhong)奪得冠軍。

對話(hua)方(fang)面，提出了(le)基(ji)于(yu)深(shen)度(du)注意網(wang)絡的多(duo)輪響應選擇匹配(pei)模型DAM(Deep Attention Matching Network)，顯(xian)著提高了(le)口(kou)語理(li)解能力。在(zai)對話(hua)系統(tong)框架中，百(bai)度(du)一方(fang)面提供(gong)(gong)了(le)可(ke)編(bian)程的對話(hua)管理(li)框架，并內置了(le)多(duo)個(ge)常用(yong)(yong)標準(zhun)對話(hua)范式，為在(zai)云端(duan)開發(fa)靈(ling)活(huo)可(ke)變的業(ye)務對話(hua)邏輯提供(gong)(gong)了(le)便(bian)利。另(ling)一方(fang)面，提供(gong)(gong)了(le)需(xu)求分發(fa)和全局記憶機制，支持多(duo)個(ge)對話(hua)任務的集成(cheng)與(yu)聯動，提高了(le)對話(hua)技(ji)能的可(ke)復用(yong)(yong)性，降低(di)了(le)新業(ye)務的重復開發(fa)成(cheng)本。百(bai)度(du)可(ke)定制對話(hua)技(ji)術(shu)依托百(bai)度(du)大腦(nao)UNIT3.0平臺，支持5萬(wan)多(duo)個(ge)對話(hua)技(ji)能，廣泛應用(yong)(yong)于(yu)行業(ye)客戶。

機(ji)器翻譯領(ling)(ling)域，百(bai)度(du)(du)相(xiang)繼提(ti)出(chu)了(le)多(duo)任務學習、多(duo)智能體(ti)聯合(he)訓練等前(qian)沿方(fang)法，并在(zai)2019年國(guo)際(ji)權(quan)威WMT評測(ce)中取(qu)得(de)中英翻譯第一(yi)。機(ji)器同聲傳(chuan)(chuan)譯方(fang)面(mian)百(bai)度(du)(du)走在(zai)領(ling)(ling)域前(qian)沿，提(ti)出(chu)了(le)首(shou)個(ge)具有預測(ce)和可控時延的(de)(de)(de)同傳(chuan)(chuan)模型，首(shou)個(ge)語(yu)義(yi)單元驅動的(de)(de)(de)上下文(wen)同傳(chuan)(chuan)模型，并研發了(le)業內首(shou)個(ge)語(yu)音(yin)到語(yu)音(yin)的(de)(de)(de)同傳(chuan)(chuan)系統(tong)，為(wei)用戶提(ti)供高質量、低時延的(de)(de)(de)同傳(chuan)(chuan)體(ti)驗。值(zhi)得(de)一(yi)提(ti)的(de)(de)(de)是，基(ji)于在(zai)此領(ling)(ling)域取(qu)得(de)的(de)(de)(de)進(jin)(jin)步，由(you)百(bai)度(du)(du)主導，聯合(he)Google、Facebook、Upenn、清華等海內外(wai)頂尖(jian)企業及高校共(gong)同組織首(shou)屆機(ji)器同傳(chuan)(chuan)研討會(hui)，將(jiang)在(zai)本領(ling)(ling)域頂級會(hui)議ACL 2020召(zhao)開，并將(jiang)舉(ju)辦國(guo)際(ji)首(shou)屆同傳(chuan)(chuan)評測(ce)，以(yi)進(jin)(jin)一(yi)步促(cu)進(jin)(jin)技術發展(zhan)。此外(wai)，百(bai)度(du)(du)還將(jiang)在(zai)領(ling)(ling)域權(quan)威會(hui)議EMNLP 2020中舉(ju)辦機(ji)器同傳(chuan)(chuan)tutorial，就(jiu)機(ji)器同傳(chuan)(chuan)的(de)(de)(de)原(yuan)理、方(fang)法、前(qian)沿進(jin)(jin)展(zhan)進(jin)(jin)行講座。

百度(du)(du)自然語言處理(li)領域產(chan)出的(de)(de)(de)(de)卓越成果(guo)背后所運(yun)用(yong)的(de)(de)(de)(de)底層(ceng)框架(jia)，是自研(yan)的(de)(de)(de)(de)開(kai)源(yuan)深(shen)度(du)(du)學(xue)習(xi)平(ping)臺百度(du)(du)飛(fei)(fei)槳(jiang)。近兩年來，飛(fei)(fei)槳(jiang)圍繞深(shen)度(du)(du)學(xue)習(xi)框架(jia)的(de)(de)(de)(de)基本功能、性(xing)能、芯片支(zhi)持(chi)的(de)(de)(de)(de)完(wan)備性(xing)等技(ji)術(shu)指(zhi)標進行了(le)一系(xi)列的(de)(de)(de)(de)易用(yong)性(xing)開(kai)發(fa)和性(xing)能迭代，為開(kai)發(fa)者提供了(le)優(you)于其他深(shen)度(du)(du)學(xue)習(xi)框架(jia)的(de)(de)(de)(de)使用(yong)體驗。在開(kai)發(fa)能力方面，飛(fei)(fei)槳(jiang)除了(le)支(zhi)持(chi)對常(chang)用(yong)API的(de)(de)(de)(de)調用(yong)之外，還在編程范式(shi)(shi)(shi)上同時支(zhi)持(chi)聲明式(shi)(shi)(shi)編程和命令式(shi)(shi)(shi)編程，兼具很(hen)好(hao)的(de)(de)(de)(de)靈活性(xing)和穩定性(xing)，可滿足不同開(kai)發(fa)者的(de)(de)(de)(de)開(kai)發(fa)習(xi)慣，更易上手(shou)。在訓練(lian)方面，飛(fei)(fei)槳(jiang)平(ping)臺突(tu)破(po)了(le)超大(da)規模(mo)(mo)(mo)深(shen)度(du)(du)學(xue)習(xi)模(mo)(mo)(mo)型(xing)(xing)訓練(lian)技(ji)術(shu)，研(yan)制了(le)千(qian)億(yi)(yi)(yi)特征、萬億(yi)(yi)(yi)參數(shu)、數(shu)百節點的(de)(de)(de)(de)開(kai)源(yuan)大(da)規模(mo)(mo)(mo)訓練(lian)平(ping)臺，實現了(le)萬億(yi)(yi)(yi)規模(mo)(mo)(mo)參數(shu)深(shen)度(du)(du)學(xue)習(xi)模(mo)(mo)(mo)型(xing)(xing)的(de)(de)(de)(de)實時更新。在自然語言處理(li)領域，PADDLE-NLP提供了(le)面向6類任務下的(de)(de)(de)(de)30+算法模(mo)(mo)(mo)型(xing)(xing)，包括上述工作中(zhong)ERNIE、D-NET等多個(ge)國際競賽的(de)(de)(de)(de)冠(guan)軍模(mo)(mo)(mo)型(xing)(xing)。