本屆NeurIPS大會共收到6743篇論(lun)(lun)文(wen)投稿(gao)，兩年時間翻了一番。其中(zhong)1428篇論(lun)(lun)文(wen)入選，入選率僅21.1%。百度共有8篇論(lun)(lun)文(wen)被(bei)收錄，覆蓋量化壓縮、對抗(kang)訓練等諸多前沿方向。

競賽(sai)方面(mian)，在(zai)NeurIPS 2019: Learn to Move強化學習賽(sai)事(shi)中百度(du)(du)再度(du)(du)蟬聯冠軍(jun)，并(bing)受邀(yao)在(zai)Deep RL workshop中進行專題報(bao)告。本次比賽(sai)的難(nan)度(du)(du)非常大(da)，在(zai)參賽(sai)的近300支隊伍(wu)中，僅(jin)有3支隊伍(wu)完成(cheng)了(le)(le)最后挑戰。百度(du)(du)基于飛槳的強化學習框架PARL不僅(jin)成(cheng)功完成(cheng)挑戰，還(huan)大(da)幅領(ling)先(xian)第二名（1490vs1346）。除了(le)(le)在(zai)Best Performance Track獲(huo)得了(le)(le)第一，相關(guan)技術(shu)論文也在(zai)該賽(sai)事(shi)的Machine Learning Track中獲(huo)得了(le)(le)Best Paper Reward。

百(bai)(bai)度舉辦(ban)了自(zi)然語(yu)言處(chu)理專題研討(tao)會，百(bai)(bai)度技(ji)術委員(yuan)會主席、自(zi)然語(yu)言處(chu)理首席科(ke)學家吳華博士以及多名(ming)研究員(yuan)和工程師，向現(xian)場參會者(zhe)全(quan)面介紹了百(bai)(bai)度在這(zhe)一領域的(de)長(chang)期(qi)積累與全(quan)新突破。基于具有(you)完全(quan)自(zi)主知(zhi)識產(chan)權的(de)飛槳平(ping)臺，百(bai)(bai)度自(zi)然語(yu)言處(chu)理在語(yu)義計算、閱(yue)讀理解、多輪對(dui)話、機器翻(fan)譯(yi)、開放平(ping)臺與數(shu)據等方向均取得了突破性進(jin)展，并(bing)進(jin)行了大規模產(chan)業(ye)化應用。

預訓練方面，百度(du)提出知識增強的(de)語義(yi)表示模型ERNIE及(ji)持續學習語義(yi)理(li)解(jie)框(kuang)架ERNIE2.0，在共計16個(ge)中英(ying)文任務上超越(yue)BERT、XLNET，取得(de)了(le) SOTA 的(de)效果。11月，百度(du)發(fa)布(bu)基于ERNIE的(de)語義(yi)理(li)解(jie)開(kai)發(fa)套件(jian)。從原理(li)、應用到開(kai)源及(ji)平臺(tai)化，百度(du)在NLP預訓練領(ling)域進行了(le)極具(ju)價(jia)值的(de)創新及(ji)實踐。

機器閱(yue)讀(du)理(li)解(jie)，已(yi)成為評估機器語言理(li)解(jie)能力的(de)重(zhong)要方式，也是搜索引擎和對話系統(tong)等行業應用中(zhong)(zhong)的(de)關鍵技術。百度建設(she)及(ji)發布了(le)最大(da)規模的(de)中(zhong)(zhong)文閱(yue)讀(du)理(li)解(jie)數據集(ji)DuReader；在泛(fan)化方面提出訓練框架D-NET，從多(duo)模型融合、多(duo)任務(wu)學(xue)習的(de)角度提升模型的(de)泛(fan)化能力；

對于對抗樣(yang)本(ben)的(de)攻擊，提(ti)出了(le)一種面(mian)向閱讀理解的(de)對抗訓練方法；提(ti)出文本(ben)表示(shi)(shi)和知(zhi)識(shi)(shi)表示(shi)(shi)的(de)融(rong)合模(mo)型KT-NET，以解決(jue)需要外部知(zhi)識(shi)(shi)和常(chang)識(shi)(shi)的(de)問題。其(qi)中具有高魯棒性和遷移能力的(de)閱讀理解模(mo)型在2019年MRQA閱讀理解評測中奪得冠軍(jun)。

對(dui)話(hua)(hua)方(fang)面，提(ti)出了(le)(le)(le)(le)基于深(shen)度注(zhu)意網絡(luo)的(de)(de)(de)多輪響應(ying)選擇匹配模型DAM(Deep Attention Matching Network)，顯著提(ti)高(gao)了(le)(le)(le)(le)口語(yu)理解(jie)能(neng)(neng)力。在對(dui)話(hua)(hua)系統框架(jia)中，百度一方(fang)面提(ti)供了(le)(le)(le)(le)可(ke)編(bian)程(cheng)的(de)(de)(de)對(dui)話(hua)(hua)管(guan)理框架(jia)，并內(nei)置(zhi)了(le)(le)(le)(le)多個(ge)(ge)常(chang)用標準對(dui)話(hua)(hua)范(fan)式，為在云端(duan)開發(fa)(fa)靈活可(ke)變的(de)(de)(de)業(ye)務(wu)(wu)對(dui)話(hua)(hua)邏輯提(ti)供了(le)(le)(le)(le)便利。另一方(fang)面，提(ti)供了(le)(le)(le)(le)需(xu)求(qiu)分(fen)發(fa)(fa)和全局記憶(yi)機制，支(zhi)(zhi)持多個(ge)(ge)對(dui)話(hua)(hua)任(ren)務(wu)(wu)的(de)(de)(de)集成與聯(lian)動，提(ti)高(gao)了(le)(le)(le)(le)對(dui)話(hua)(hua)技(ji)能(neng)(neng)的(de)(de)(de)可(ke)復(fu)用性，降(jiang)低了(le)(le)(le)(le)新(xin)業(ye)務(wu)(wu)的(de)(de)(de)重復(fu)開發(fa)(fa)成本。百度可(ke)定(ding)制對(dui)話(hua)(hua)技(ji)術(shu)依托百度大(da)腦UNIT3.0平臺，支(zhi)(zhi)持5萬多個(ge)(ge)對(dui)話(hua)(hua)技(ji)能(neng)(neng)，廣泛應(ying)用于行業(ye)客戶。

機器(qi)(qi)翻(fan)譯領(ling)(ling)域，百(bai)度(du)(du)(du)相繼提(ti)出(chu)了(le)多任務學習、多智(zhi)能體聯合訓練等(deng)(deng)前(qian)沿(yan)方(fang)法，并在(zai)2019年國(guo)際權威(wei)WMT評(ping)測中(zhong)取(qu)(qu)得(de)中(zhong)英翻(fan)譯第一。機器(qi)(qi)同(tong)(tong)(tong)(tong)(tong)聲傳(chuan)(chuan)譯方(fang)面百(bai)度(du)(du)(du)走在(zai)領(ling)(ling)域前(qian)沿(yan)，提(ti)出(chu)了(le)首(shou)個具有預測和(he)可控時延的同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)模型，首(shou)個語(yu)(yu)義單(dan)元驅動的上下文同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)模型，并研發了(le)業(ye)內(nei)首(shou)個語(yu)(yu)音(yin)到語(yu)(yu)音(yin)的同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)系統，為用戶提(ti)供高(gao)質量(liang)、低時延的同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)體驗。值得(de)一提(ti)的是(shi)，基于在(zai)此(ci)(ci)領(ling)(ling)域取(qu)(qu)得(de)的進(jin)(jin)步(bu)(bu)，由百(bai)度(du)(du)(du)主(zhu)導，聯合Google、Facebook、Upenn、清華等(deng)(deng)海內(nei)外(wai)頂(ding)尖企業(ye)及高(gao)校共同(tong)(tong)(tong)(tong)(tong)組織首(shou)屆(jie)機器(qi)(qi)同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)研討會，將(jiang)在(zai)本領(ling)(ling)域頂(ding)級會議ACL 2020召開(kai)，并將(jiang)舉(ju)辦國(guo)際首(shou)屆(jie)同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)評(ping)測，以進(jin)(jin)一步(bu)(bu)促進(jin)(jin)技術發展。此(ci)(ci)外(wai)，百(bai)度(du)(du)(du)還將(jiang)在(zai)領(ling)(ling)域權威(wei)會議EMNLP 2020中(zhong)舉(ju)辦機器(qi)(qi)同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)tutorial，就機器(qi)(qi)同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)的原(yuan)理、方(fang)法、前(qian)沿(yan)進(jin)(jin)展進(jin)(jin)行(xing)講座。

百(bai)度(du)(du)自(zi)然語言處理領(ling)域產出的(de)(de)(de)卓越成果背后所運用的(de)(de)(de)底層框(kuang)架(jia)，是(shi)自(zi)研(yan)的(de)(de)(de)開(kai)(kai)(kai)源(yuan)深度(du)(du)學(xue)習(xi)平(ping)(ping)臺百(bai)度(du)(du)飛槳。近兩年來，飛槳圍繞深度(du)(du)學(xue)習(xi)框(kuang)架(jia)的(de)(de)(de)基本功能、性(xing)(xing)能、芯片支持(chi)的(de)(de)(de)完備性(xing)(xing)等(deng)技(ji)術指標進行了(le)一系列的(de)(de)(de)易(yi)用性(xing)(xing)開(kai)(kai)(kai)發(fa)和性(xing)(xing)能迭(die)代，為開(kai)(kai)(kai)發(fa)者提供了(le)優于其他(ta)深度(du)(du)學(xue)習(xi)框(kuang)架(jia)的(de)(de)(de)使用體驗。在(zai)開(kai)(kai)(kai)發(fa)能力方(fang)面，飛槳除了(le)支持(chi)對(dui)常(chang)用API的(de)(de)(de)調用之外，還在(zai)編(bian)程(cheng)范式上(shang)同時支持(chi)聲明(ming)式編(bian)程(cheng)和命(ming)令式編(bian)程(cheng)，兼具很好的(de)(de)(de)靈(ling)活性(xing)(xing)和穩定(ding)性(xing)(xing)，可滿足(zu)不同開(kai)(kai)(kai)發(fa)者的(de)(de)(de)開(kai)(kai)(kai)發(fa)習(xi)慣，更易(yi)上(shang)手。在(zai)訓練方(fang)面，飛槳平(ping)(ping)臺突破了(le)超大(da)(da)規模(mo)深度(du)(du)學(xue)習(xi)模(mo)型訓練技(ji)術，研(yan)制了(le)千億(yi)特征、萬億(yi)參數、數百(bai)節點的(de)(de)(de)開(kai)(kai)(kai)源(yuan)大(da)(da)規模(mo)訓練平(ping)(ping)臺，實(shi)現了(le)萬億(yi)規模(mo)參數深度(du)(du)學(xue)習(xi)模(mo)型的(de)(de)(de)實(shi)時更新。在(zai)自(zi)然語言處理領(ling)域，PADDLE-NLP提供了(le)面向6類任務下的(de)(de)(de)30+算法模(mo)型，包括上(shang)述工作中(zhong)ERNIE、D-NET等(deng)多(duo)個國際競賽(sai)的(de)(de)(de)冠軍模(mo)型。