本屆(jie)NeurIPS大會共收到6743篇論文投稿，兩年時間翻了(le)一番(fan)。其中1428篇論文入選，入選率(lv)僅21.1%。百度共有8篇論文被(bei)收錄，覆蓋量化壓縮、對抗訓練(lian)等(deng)諸(zhu)多前沿方向。

競賽方面，在(zai)NeurIPS 2019: Learn to Move強(qiang)化學習賽事(shi)中(zhong)百度再(zai)度蟬聯冠軍，并(bing)受邀在(zai)Deep RL workshop中(zhong)進行(xing)專題(ti)報(bao)告。本次比賽的(de)(de)難度非常大，在(zai)參(can)賽的(de)(de)近300支(zhi)隊伍(wu)中(zhong)，僅有3支(zhi)隊伍(wu)完(wan)成了(le)(le)最后挑(tiao)戰。百度基(ji)于(yu)飛槳的(de)(de)強(qiang)化學習框架PARL不僅成功完(wan)成挑(tiao)戰，還大幅領先第(di)二名(ming)（1490vs1346）。除了(le)(le)在(zai)Best Performance Track獲得了(le)(le)第(di)一，相(xiang)關技術論(lun)文也在(zai)該(gai)賽事(shi)的(de)(de)Machine Learning Track中(zhong)獲得了(le)(le)Best Paper Reward。

百度(du)(du)舉(ju)辦(ban)了(le)自然語(yu)(yu)言處理(li)專(zhuan)題(ti)研(yan)討會，百度(du)(du)技術委員會主席(xi)、自然語(yu)(yu)言處理(li)首席(xi)科學家吳華(hua)博士以及多名研(yan)究員和工程師，向現場參會者全面介紹了(le)百度(du)(du)在這一領域的(de)長期積累與全新突(tu)破(po)。基于具有(you)完全自主知識(shi)產權的(de)飛(fei)槳平(ping)臺(tai)，百度(du)(du)自然語(yu)(yu)言處理(li)在語(yu)(yu)義計算、閱(yue)讀理(li)解、多輪對話、機(ji)器翻譯(yi)、開放平(ping)臺(tai)與數據(ju)等方(fang)向均取得(de)了(le)突(tu)破(po)性(xing)進(jin)(jin)展，并進(jin)(jin)行(xing)了(le)大(da)規模產業化應用。

預訓練(lian)方面，百(bai)(bai)度提出(chu)知識增強的語義表示模型ERNIE及(ji)(ji)持續學習語義理解框架ERNIE2.0，在(zai)共計16個中英文(wen)任務上超越BERT、XLNET，取得了 SOTA 的效果。11月，百(bai)(bai)度發(fa)布基于ERNIE的語義理解開發(fa)套(tao)件。從原(yuan)理、應用到開源(yuan)及(ji)(ji)平臺化，百(bai)(bai)度在(zai)NLP預訓練(lian)領域進行了極(ji)具(ju)價值的創新及(ji)(ji)實踐(jian)。

機(ji)器閱讀理解，已成為評估機(ji)器語言理解能力(li)的重要方式(shi)，也是搜索引擎和對話系(xi)統等行業應用中(zhong)的關鍵技術(shu)。百度建設及發布了最大規模的中(zhong)文(wen)閱讀理解數據集DuReader；在(zai)泛化方面提出訓練框(kuang)架D-NET，從多模型融(rong)合、多任(ren)務學習的角度提升(sheng)模型的泛化能力(li)；

對于(yu)對抗樣本的(de)(de)攻(gong)擊，提出了一種(zhong)面向閱(yue)讀理解的(de)(de)對抗訓練方(fang)法；提出文本表示(shi)(shi)和(he)(he)知識(shi)表示(shi)(shi)的(de)(de)融合模型KT-NET，以(yi)解決(jue)需要(yao)外(wai)部知識(shi)和(he)(he)常識(shi)的(de)(de)問題。其中(zhong)具有高魯棒性(xing)和(he)(he)遷(qian)移能力的(de)(de)閱(yue)讀理解模型在(zai)2019年MRQA閱(yue)讀理解評測(ce)中(zhong)奪得(de)冠軍(jun)。

對(dui)(dui)(dui)話方面，提(ti)出了(le)基于(yu)深度注意網絡(luo)的(de)多(duo)輪響應選擇匹配(pei)模(mo)型DAM(Deep Attention Matching Network)，顯著提(ti)高(gao)了(le)口語理解能(neng)力。在(zai)對(dui)(dui)(dui)話系(xi)統(tong)框(kuang)架(jia)(jia)中(zhong)，百(bai)度一方面提(ti)供(gong)(gong)了(le)可(ke)編程(cheng)的(de)對(dui)(dui)(dui)話管理框(kuang)架(jia)(jia)，并內置了(le)多(duo)個常(chang)用標準對(dui)(dui)(dui)話范式，為在(zai)云(yun)端開發靈活(huo)可(ke)變的(de)業務對(dui)(dui)(dui)話邏輯(ji)提(ti)供(gong)(gong)了(le)便利(li)。另一方面，提(ti)供(gong)(gong)了(le)需(xu)求分發和全局記憶機制，支持多(duo)個對(dui)(dui)(dui)話任務的(de)集成與聯動，提(ti)高(gao)了(le)對(dui)(dui)(dui)話技(ji)(ji)能(neng)的(de)可(ke)復(fu)(fu)用性(xing)，降低了(le)新業務的(de)重復(fu)(fu)開發成本。百(bai)度可(ke)定制對(dui)(dui)(dui)話技(ji)(ji)術(shu)依托百(bai)度大腦UNIT3.0平臺，支持5萬多(duo)個對(dui)(dui)(dui)話技(ji)(ji)能(neng)，廣(guang)泛應用于(yu)行業客戶。

機(ji)(ji)(ji)器(qi)翻(fan)譯領(ling)(ling)域(yu)，百度相繼提(ti)出了(le)(le)多任務學習、多智能體聯(lian)合(he)訓練等前沿方法，并在(zai)(zai)2019年國際權威WMT評(ping)(ping)測(ce)中(zhong)取得中(zhong)英(ying)翻(fan)譯第(di)一(yi)。機(ji)(ji)(ji)器(qi)同聲傳(chuan)(chuan)譯方面(mian)百度走在(zai)(zai)領(ling)(ling)域(yu)前沿，提(ti)出了(le)(le)首個(ge)具有預測(ce)和(he)可控時延(yan)的(de)(de)同傳(chuan)(chuan)模(mo)型(xing)，首個(ge)語義單元(yuan)驅動的(de)(de)上下文(wen)同傳(chuan)(chuan)模(mo)型(xing)，并研(yan)(yan)發了(le)(le)業(ye)內首個(ge)語音(yin)到語音(yin)的(de)(de)同傳(chuan)(chuan)系(xi)統(tong)，為用戶提(ti)供(gong)高質量、低時延(yan)的(de)(de)同傳(chuan)(chuan)體驗(yan)。值(zhi)得一(yi)提(ti)的(de)(de)是，基于在(zai)(zai)此領(ling)(ling)域(yu)取得的(de)(de)進(jin)(jin)步(bu)，由(you)百度主導，聯(lian)合(he)Google、Facebook、Upenn、清(qing)華等海內外頂尖企業(ye)及(ji)高校共(gong)同組織首屆機(ji)(ji)(ji)器(qi)同傳(chuan)(chuan)研(yan)(yan)討會(hui)，將(jiang)在(zai)(zai)本(ben)領(ling)(ling)域(yu)頂級會(hui)議ACL 2020召開，并將(jiang)舉(ju)辦國際首屆同傳(chuan)(chuan)評(ping)(ping)測(ce)，以(yi)進(jin)(jin)一(yi)步(bu)促進(jin)(jin)技術發展。此外，百度還(huan)將(jiang)在(zai)(zai)領(ling)(ling)域(yu)權威會(hui)議EMNLP 2020中(zhong)舉(ju)辦機(ji)(ji)(ji)器(qi)同傳(chuan)(chuan)tutorial，就(jiu)機(ji)(ji)(ji)器(qi)同傳(chuan)(chuan)的(de)(de)原理(li)、方法、前沿進(jin)(jin)展進(jin)(jin)行講座。

百(bai)度(du)(du)(du)自然語(yu)言處(chu)理領(ling)域(yu)產(chan)出的(de)(de)(de)(de)(de)卓越成果背后(hou)所運用(yong)的(de)(de)(de)(de)(de)底(di)層框架(jia)，是自研(yan)的(de)(de)(de)(de)(de)開源(yuan)深(shen)度(du)(du)(du)學(xue)(xue)(xue)習(xi)(xi)(xi)平臺百(bai)度(du)(du)(du)飛(fei)槳(jiang)。近兩年來，飛(fei)槳(jiang)圍繞深(shen)度(du)(du)(du)學(xue)(xue)(xue)習(xi)(xi)(xi)框架(jia)的(de)(de)(de)(de)(de)基(ji)本功能(neng)、性(xing)(xing)能(neng)、芯片支(zhi)持的(de)(de)(de)(de)(de)完備性(xing)(xing)等技術指標進行(xing)了(le)(le)一系列的(de)(de)(de)(de)(de)易用(yong)性(xing)(xing)開發(fa)(fa)(fa)和(he)性(xing)(xing)能(neng)迭代，為開發(fa)(fa)(fa)者提供(gong)了(le)(le)優于其他深(shen)度(du)(du)(du)學(xue)(xue)(xue)習(xi)(xi)(xi)框架(jia)的(de)(de)(de)(de)(de)使用(yong)體驗(yan)。在開發(fa)(fa)(fa)能(neng)力方面，飛(fei)槳(jiang)除了(le)(le)支(zhi)持對常用(yong)API的(de)(de)(de)(de)(de)調(diao)用(yong)之外(wai)，還在編程(cheng)范式上同(tong)時支(zhi)持聲明式編程(cheng)和(he)命(ming)令式編程(cheng)，兼具(ju)很好的(de)(de)(de)(de)(de)靈(ling)活性(xing)(xing)和(he)穩定性(xing)(xing)，可滿足不同(tong)開發(fa)(fa)(fa)者的(de)(de)(de)(de)(de)開發(fa)(fa)(fa)習(xi)(xi)(xi)慣(guan)，更易上手。在訓練方面，飛(fei)槳(jiang)平臺突(tu)破了(le)(le)超大規模(mo)(mo)(mo)(mo)深(shen)度(du)(du)(du)學(xue)(xue)(xue)習(xi)(xi)(xi)模(mo)(mo)(mo)(mo)型(xing)訓練技術，研(yan)制(zhi)了(le)(le)千億特征、萬億參數(shu)、數(shu)百(bai)節點的(de)(de)(de)(de)(de)開源(yuan)大規模(mo)(mo)(mo)(mo)訓練平臺，實(shi)現了(le)(le)萬億規模(mo)(mo)(mo)(mo)參數(shu)深(shen)度(du)(du)(du)學(xue)(xue)(xue)習(xi)(xi)(xi)模(mo)(mo)(mo)(mo)型(xing)的(de)(de)(de)(de)(de)實(shi)時更新。在自然語(yu)言處(chu)理領(ling)域(yu)，PADDLE-NLP提供(gong)了(le)(le)面向6類任(ren)務下(xia)的(de)(de)(de)(de)(de)30+算(suan)法模(mo)(mo)(mo)(mo)型(xing)，包括上述工作中(zhong)ERNIE、D-NET等多(duo)個(ge)國際(ji)競賽的(de)(de)(de)(de)(de)冠軍模(mo)(mo)(mo)(mo)型(xing)。