本屆NeurIPS大會共收(shou)到6743篇論(lun)文投稿，兩年時間翻了一番。其(qi)中1428篇論(lun)文入(ru)選，入(ru)選率(lv)僅21.1%。百度共有(you)8篇論(lun)文被收(shou)錄(lu)，覆(fu)蓋量化壓(ya)縮、對抗訓練等(deng)諸多前(qian)沿方向。

競賽(sai)方面，在(zai)(zai)NeurIPS 2019: Learn to Move強化(hua)學(xue)習(xi)賽(sai)事中(zhong)百(bai)度(du)(du)再度(du)(du)蟬聯(lian)冠軍(jun)，并受邀在(zai)(zai)Deep RL workshop中(zhong)進(jin)行專題報(bao)告。本次比(bi)賽(sai)的(de)(de)難度(du)(du)非常大，在(zai)(zai)參(can)賽(sai)的(de)(de)近300支隊伍(wu)(wu)中(zhong)，僅(jin)(jin)有(you)3支隊伍(wu)(wu)完(wan)成(cheng)了最后挑戰。百(bai)度(du)(du)基于飛(fei)槳(jiang)的(de)(de)強化(hua)學(xue)習(xi)框架PARL不僅(jin)(jin)成(cheng)功完(wan)成(cheng)挑戰，還大幅(fu)領先(xian)第(di)(di)二名(ming)（1490vs1346）。除了在(zai)(zai)Best Performance Track獲得(de)了第(di)(di)一，相關(guan)技術論文也在(zai)(zai)該賽(sai)事的(de)(de)Machine Learning Track中(zhong)獲得(de)了Best Paper Reward。

百(bai)(bai)度(du)舉辦了(le)自(zi)(zi)然語(yu)(yu)言處理專題研(yan)討會(hui)(hui)，百(bai)(bai)度(du)技術委(wei)員(yuan)會(hui)(hui)主(zhu)(zhu)席(xi)、自(zi)(zi)然語(yu)(yu)言處理首席(xi)科學家(jia)吳華(hua)博士以(yi)及多(duo)(duo)名(ming)研(yan)究員(yuan)和工程師(shi)，向現(xian)場參會(hui)(hui)者全面介(jie)紹了(le)百(bai)(bai)度(du)在這一領(ling)域的(de)長期積累與(yu)全新突破。基于(yu)具有(you)完全自(zi)(zi)主(zhu)(zhu)知識產(chan)權的(de)飛槳平臺(tai)，百(bai)(bai)度(du)自(zi)(zi)然語(yu)(yu)言處理在語(yu)(yu)義(yi)計算、閱讀(du)理解、多(duo)(duo)輪對話、機器翻譯、開放平臺(tai)與(yu)數據(ju)等方(fang)向均取得(de)了(le)突破性進(jin)展，并(bing)進(jin)行了(le)大規模產(chan)業化應用。

預訓(xun)練方面，百(bai)度提出知(zhi)識增強(qiang)的語(yu)義表(biao)示模型ERNIE及(ji)持續學習(xi)語(yu)義理解(jie)框架ERNIE2.0，在共計16個(ge)中英文任務(wu)上(shang)超越BERT、XLNET，取得了(le) SOTA 的效果。11月(yue)，百(bai)度發布基于(yu)ERNIE的語(yu)義理解(jie)開發套件(jian)。從原理、應用到開源及(ji)平臺化，百(bai)度在NLP預訓(xun)練領域進行了(le)極(ji)具價(jia)值(zhi)的創新(xin)及(ji)實踐。

機器閱讀(du)(du)理解，已(yi)成為評估(gu)機器語言理解能力的(de)(de)重要方式，也是搜索引擎(qing)和對話(hua)系統等行(xing)業應用中的(de)(de)關鍵技(ji)術。百度建設及發布了最大規模(mo)的(de)(de)中文閱讀(du)(du)理解數據(ju)集(ji)DuReader；在泛化方面提出(chu)訓(xun)練框(kuang)架D-NET，從多模(mo)型融合、多任務學習的(de)(de)角(jiao)度提升模(mo)型的(de)(de)泛化能力；

對(dui)于對(dui)抗樣本的(de)(de)攻擊，提出了一種面(mian)向閱(yue)(yue)讀理解(jie)的(de)(de)對(dui)抗訓練方法；提出文本表(biao)示(shi)和知(zhi)識(shi)表(biao)示(shi)的(de)(de)融合模型KT-NET，以解(jie)決需要外部知(zhi)識(shi)和常(chang)識(shi)的(de)(de)問題。其中(zhong)具有高(gao)魯棒性和遷移能力的(de)(de)閱(yue)(yue)讀理解(jie)模型在2019年MRQA閱(yue)(yue)讀理解(jie)評測中(zhong)奪得冠(guan)軍。

對(dui)話方(fang)面，提(ti)(ti)出(chu)了(le)基于深(shen)度(du)注意網(wang)絡(luo)的多輪響(xiang)應(ying)選擇匹配模(mo)型DAM(Deep Attention Matching Network)，顯(xian)著提(ti)(ti)高了(le)口語理(li)(li)解能(neng)力。在(zai)對(dui)話系統框架中(zhong)，百(bai)(bai)度(du)一(yi)方(fang)面提(ti)(ti)供(gong)了(le)可(ke)(ke)(ke)編(bian)程的對(dui)話管理(li)(li)框架，并內置了(le)多個(ge)常用標準對(dui)話范式，為在(zai)云端開發(fa)靈活可(ke)(ke)(ke)變的業(ye)務(wu)對(dui)話邏輯提(ti)(ti)供(gong)了(le)便利(li)。另一(yi)方(fang)面，提(ti)(ti)供(gong)了(le)需求分發(fa)和(he)全局記憶(yi)機(ji)制，支(zhi)(zhi)持多個(ge)對(dui)話任(ren)務(wu)的集成與聯動，提(ti)(ti)高了(le)對(dui)話技(ji)(ji)能(neng)的可(ke)(ke)(ke)復用性，降低了(le)新(xin)業(ye)務(wu)的重復開發(fa)成本。百(bai)(bai)度(du)可(ke)(ke)(ke)定制對(dui)話技(ji)(ji)術(shu)依托百(bai)(bai)度(du)大腦UNIT3.0平臺，支(zhi)(zhi)持5萬多個(ge)對(dui)話技(ji)(ji)能(neng)，廣泛應(ying)用于行業(ye)客戶。

機(ji)(ji)器翻譯領域，百度(du)(du)相(xiang)繼提(ti)(ti)(ti)出了多(duo)任務學習、多(duo)智能體聯合(he)訓練等(deng)前沿方法，并在2019年國際權威(wei)WMT評(ping)測中(zhong)取得(de)(de)中(zhong)英翻譯第(di)一(yi)。機(ji)(ji)器同(tong)(tong)(tong)(tong)(tong)聲傳(chuan)(chuan)(chuan)譯方面百度(du)(du)走(zou)在領域前沿，提(ti)(ti)(ti)出了首(shou)個具(ju)有預測和可控時延的(de)同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)(chuan)模型，首(shou)個語(yu)(yu)義單元驅動的(de)上下文(wen)同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)(chuan)模型，并研(yan)發(fa)了業內(nei)首(shou)個語(yu)(yu)音(yin)到語(yu)(yu)音(yin)的(de)同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)(chuan)系統，為用戶提(ti)(ti)(ti)供高(gao)質(zhi)量、低時延的(de)同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)(chuan)體驗。值得(de)(de)一(yi)提(ti)(ti)(ti)的(de)是，基于在此領域取得(de)(de)的(de)進(jin)(jin)(jin)步(bu)，由百度(du)(du)主導，聯合(he)Google、Facebook、Upenn、清(qing)華等(deng)海內(nei)外(wai)頂(ding)尖企業及高(gao)校共同(tong)(tong)(tong)(tong)(tong)組織(zhi)首(shou)屆機(ji)(ji)器同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)(chuan)研(yan)討(tao)會，將(jiang)在本領域頂(ding)級會議ACL 2020召開，并將(jiang)舉辦(ban)國際首(shou)屆同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)(chuan)評(ping)測，以進(jin)(jin)(jin)一(yi)步(bu)促進(jin)(jin)(jin)技術發(fa)展。此外(wai)，百度(du)(du)還將(jiang)在領域權威(wei)會議EMNLP 2020中(zhong)舉辦(ban)機(ji)(ji)器同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)(chuan)tutorial，就機(ji)(ji)器同(tong)(tong)(tong)(tong)(tong)傳(chuan)(chuan)(chuan)的(de)原理、方法、前沿進(jin)(jin)(jin)展進(jin)(jin)(jin)行講座(zuo)。

百度自然(ran)語(yu)言(yan)處理(li)領域產出的(de)(de)(de)卓越(yue)成果背后所(suo)運用的(de)(de)(de)底(di)層(ceng)框架，是自研的(de)(de)(de)開源(yuan)深度學(xue)習(xi)平臺(tai)百度飛槳(jiang)。近(jin)兩年來，飛槳(jiang)圍繞深度學(xue)習(xi)框架的(de)(de)(de)基本功能、性(xing)能、芯片支持的(de)(de)(de)完備性(xing)等技術(shu)指標(biao)進(jin)行了一(yi)系列的(de)(de)(de)易用性(xing)開發(fa)(fa)和(he)性(xing)能迭代，為開發(fa)(fa)者(zhe)提供了優于其他深度學(xue)習(xi)框架的(de)(de)(de)使用體驗。在(zai)開發(fa)(fa)能力方(fang)面(mian)，飛槳(jiang)除了支持對常用API的(de)(de)(de)調用之外，還在(zai)編(bian)程(cheng)范式(shi)上同(tong)時支持聲明式(shi)編(bian)程(cheng)和(he)命令式(shi)編(bian)程(cheng)，兼(jian)具很好的(de)(de)(de)靈(ling)活性(xing)和(he)穩定性(xing)，可滿足不同(tong)開發(fa)(fa)者(zhe)的(de)(de)(de)開發(fa)(fa)習(xi)慣，更(geng)易上手。在(zai)訓練(lian)方(fang)面(mian)，飛槳(jiang)平臺(tai)突(tu)破了超大(da)規模(mo)深度學(xue)習(xi)模(mo)型(xing)訓練(lian)技術(shu)，研制了千(qian)億特征、萬億參(can)數(shu)(shu)、數(shu)(shu)百節點的(de)(de)(de)開源(yuan)大(da)規模(mo)訓練(lian)平臺(tai)，實現(xian)了萬億規模(mo)參(can)數(shu)(shu)深度學(xue)習(xi)模(mo)型(xing)的(de)(de)(de)實時更(geng)新。在(zai)自然(ran)語(yu)言(yan)處理(li)領域，PADDLE-NLP提供了面(mian)向6類任務下(xia)的(de)(de)(de)30+算法模(mo)型(xing)，包(bao)括上述工作中ERNIE、D-NET等多個(ge)國(guo)際競(jing)賽的(de)(de)(de)冠(guan)軍模(mo)型(xing)。