本(ben)屆(jie)NeurIPS大會共(gong)收(shou)到6743篇論文(wen)投稿，兩年(nian)時間(jian)翻(fan)了一番(fan)。其中1428篇論文(wen)入(ru)選，入(ru)選率僅(jin)21.1%。百度共(gong)有8篇論文(wen)被(bei)收(shou)錄(lu)，覆(fu)蓋量化壓縮、對(dui)抗(kang)訓(xun)練(lian)等諸多前沿方向。

競賽(sai)方面，在NeurIPS 2019: Learn to Move強化(hua)學(xue)(xue)習賽(sai)事(shi)中(zhong)百度(du)再度(du)蟬聯冠軍，并受邀在Deep RL workshop中(zhong)進行(xing)專題報告。本次(ci)比賽(sai)的難度(du)非常大(da)，在參賽(sai)的近300支隊伍(wu)中(zhong)，僅有3支隊伍(wu)完(wan)成(cheng)(cheng)了(le)(le)最后挑戰。百度(du)基于飛槳的強化(hua)學(xue)(xue)習框架(jia)PARL不(bu)僅成(cheng)(cheng)功(gong)完(wan)成(cheng)(cheng)挑戰，還大(da)幅領先第二名（1490vs1346）。除了(le)(le)在Best Performance Track獲(huo)得了(le)(le)第一，相關技術論文也在該賽(sai)事(shi)的Machine Learning Track中(zhong)獲(huo)得了(le)(le)Best Paper Reward。

百(bai)度(du)舉辦(ban)了(le)(le)(le)自(zi)然(ran)語(yu)言處理(li)專題研討(tao)會，百(bai)度(du)技(ji)術委員(yuan)會主(zhu)席、自(zi)然(ran)語(yu)言處理(li)首席科學(xue)家吳華博士(shi)以及多名研究員(yuan)和工(gong)程(cheng)師(shi)，向現(xian)場(chang)參(can)會者(zhe)全面介紹了(le)(le)(le)百(bai)度(du)在(zai)這一領域的長期積累與全新突破。基于具有完全自(zi)主(zhu)知識產權的飛槳平臺，百(bai)度(du)自(zi)然(ran)語(yu)言處理(li)在(zai)語(yu)義計(ji)算、閱讀理(li)解(jie)、多輪(lun)對話、機器翻譯(yi)、開放平臺與數據等方向均取得了(le)(le)(le)突破性(xing)進(jin)展，并進(jin)行了(le)(le)(le)大規(gui)模產業(ye)化應用(yong)。

預(yu)訓(xun)練方面，百度提(ti)出知識增(zeng)強的(de)語(yu)(yu)義表示模型ERNIE及持續學習(xi)語(yu)(yu)義理解(jie)框(kuang)架ERNIE2.0，在共計16個中英(ying)文任務(wu)上(shang)超越(yue)BERT、XLNET，取得了 SOTA 的(de)效(xiao)果。11月(yue)，百度發(fa)(fa)布基于ERNIE的(de)語(yu)(yu)義理解(jie)開發(fa)(fa)套件。從原理、應用到(dao)開源及平臺化，百度在NLP預(yu)訓(xun)練領域進行了極具(ju)價值的(de)創新及實踐。

機器閱讀(du)理解，已(yi)成為評估機器語言理解能力的(de)(de)重要方式，也是搜索引擎(qing)和對(dui)話系統等行業(ye)應用中的(de)(de)關鍵(jian)技術(shu)。百度建設及發布了最大(da)規模(mo)的(de)(de)中文閱讀(du)理解數據集(ji)DuReader；在泛化方面提出(chu)訓練框架D-NET，從多模(mo)型融合、多任務學(xue)習的(de)(de)角度提升模(mo)型的(de)(de)泛化能力；

對(dui)(dui)于(yu)對(dui)(dui)抗(kang)(kang)樣(yang)本的(de)(de)(de)攻擊，提出了一(yi)種面(mian)向閱讀理解(jie)(jie)的(de)(de)(de)對(dui)(dui)抗(kang)(kang)訓練方法；提出文本表(biao)示(shi)和知識(shi)表(biao)示(shi)的(de)(de)(de)融合模(mo)(mo)型(xing)KT-NET，以解(jie)(jie)決(jue)需要外部知識(shi)和常識(shi)的(de)(de)(de)問(wen)題。其中(zhong)具有(you)高魯棒性和遷移能力的(de)(de)(de)閱讀理解(jie)(jie)模(mo)(mo)型(xing)在2019年MRQA閱讀理解(jie)(jie)評測中(zhong)奪得冠軍(jun)。

對(dui)話(hua)(hua)(hua)(hua)方面(mian)，提出了基于(yu)深度注意網絡的(de)多(duo)輪(lun)響應(ying)選擇(ze)匹配模型(xing)DAM(Deep Attention Matching Network)，顯著提高了口語理解能力。在(zai)對(dui)話(hua)(hua)(hua)(hua)系統框架(jia)中，百(bai)度一(yi)方面(mian)提供了可編程的(de)對(dui)話(hua)(hua)(hua)(hua)管理框架(jia)，并內置(zhi)了多(duo)個常用(yong)(yong)標(biao)準(zhun)對(dui)話(hua)(hua)(hua)(hua)范式，為在(zai)云(yun)端開發(fa)靈活可變(bian)的(de)業(ye)務(wu)對(dui)話(hua)(hua)(hua)(hua)邏輯(ji)提供了便(bian)利。另一(yi)方面(mian)，提供了需求分(fen)發(fa)和全局記憶(yi)機制，支持多(duo)個對(dui)話(hua)(hua)(hua)(hua)任務(wu)的(de)集成(cheng)與聯動，提高了對(dui)話(hua)(hua)(hua)(hua)技能的(de)可復用(yong)(yong)性，降低了新業(ye)務(wu)的(de)重(zhong)復開發(fa)成(cheng)本。百(bai)度可定制對(dui)話(hua)(hua)(hua)(hua)技術依托百(bai)度大(da)腦UNIT3.0平臺，支持5萬多(duo)個對(dui)話(hua)(hua)(hua)(hua)技能，廣泛應(ying)用(yong)(yong)于(yu)行業(ye)客(ke)戶(hu)。

機(ji)(ji)(ji)器(qi)翻譯領(ling)(ling)域(yu)(yu)，百(bai)度(du)相繼提出了(le)(le)多(duo)任(ren)務(wu)學習(xi)、多(duo)智能(neng)體聯合訓練等前(qian)沿(yan)方(fang)法(fa)，并在(zai)2019年國(guo)際(ji)權(quan)威(wei)WMT評測(ce)中(zhong)取得中(zhong)英翻譯第一(yi)(yi)。機(ji)(ji)(ji)器(qi)同(tong)聲傳(chuan)(chuan)(chuan)譯方(fang)面百(bai)度(du)走在(zai)領(ling)(ling)域(yu)(yu)前(qian)沿(yan)，提出了(le)(le)首(shou)個具有預測(ce)和可(ke)控(kong)時延的(de)(de)同(tong)傳(chuan)(chuan)(chuan)模型，首(shou)個語義單(dan)元驅動的(de)(de)上下文同(tong)傳(chuan)(chuan)(chuan)模型，并研發(fa)了(le)(le)業(ye)內(nei)首(shou)個語音到語音的(de)(de)同(tong)傳(chuan)(chuan)(chuan)系統，為(wei)用(yong)戶提供(gong)高質量、低時延的(de)(de)同(tong)傳(chuan)(chuan)(chuan)體驗。值得一(yi)(yi)提的(de)(de)是，基于在(zai)此領(ling)(ling)域(yu)(yu)取得的(de)(de)進(jin)(jin)步，由百(bai)度(du)主導(dao)，聯合Google、Facebook、Upenn、清(qing)華(hua)等海內(nei)外頂(ding)尖企業(ye)及高校共同(tong)組織首(shou)屆(jie)機(ji)(ji)(ji)器(qi)同(tong)傳(chuan)(chuan)(chuan)研討會，將在(zai)本(ben)領(ling)(ling)域(yu)(yu)頂(ding)級會議ACL 2020召(zhao)開，并將舉(ju)辦(ban)國(guo)際(ji)首(shou)屆(jie)同(tong)傳(chuan)(chuan)(chuan)評測(ce)，以進(jin)(jin)一(yi)(yi)步促進(jin)(jin)技術(shu)發(fa)展。此外，百(bai)度(du)還將在(zai)領(ling)(ling)域(yu)(yu)權(quan)威(wei)會議EMNLP 2020中(zhong)舉(ju)辦(ban)機(ji)(ji)(ji)器(qi)同(tong)傳(chuan)(chuan)(chuan)tutorial，就機(ji)(ji)(ji)器(qi)同(tong)傳(chuan)(chuan)(chuan)的(de)(de)原(yuan)理(li)、方(fang)法(fa)、前(qian)沿(yan)進(jin)(jin)展進(jin)(jin)行講(jiang)座。

百度自(zi)(zi)然語言(yan)處(chu)理領域產出(chu)的(de)(de)(de)(de)卓(zhuo)越成果背后所運用的(de)(de)(de)(de)底層(ceng)框架(jia)(jia)，是自(zi)(zi)研(yan)的(de)(de)(de)(de)開(kai)源深(shen)度學(xue)(xue)習(xi)(xi)平(ping)臺百度飛(fei)槳(jiang)。近兩(liang)年來，飛(fei)槳(jiang)圍繞深(shen)度學(xue)(xue)習(xi)(xi)框架(jia)(jia)的(de)(de)(de)(de)基本功能、性(xing)(xing)能、芯片支(zhi)持的(de)(de)(de)(de)完備性(xing)(xing)等(deng)技(ji)術指標進行了(le)一系列的(de)(de)(de)(de)易用性(xing)(xing)開(kai)發(fa)(fa)(fa)和性(xing)(xing)能迭代，為開(kai)發(fa)(fa)(fa)者提(ti)供了(le)優于其他(ta)深(shen)度學(xue)(xue)習(xi)(xi)框架(jia)(jia)的(de)(de)(de)(de)使用體驗。在(zai)開(kai)發(fa)(fa)(fa)能力(li)方(fang)面(mian)，飛(fei)槳(jiang)除了(le)支(zhi)持對(dui)常用API的(de)(de)(de)(de)調用之外(wai)，還在(zai)編程(cheng)范式上同(tong)時支(zhi)持聲明式編程(cheng)和命令(ling)式編程(cheng)，兼(jian)具(ju)很好的(de)(de)(de)(de)靈活性(xing)(xing)和穩定性(xing)(xing)，可滿足不同(tong)開(kai)發(fa)(fa)(fa)者的(de)(de)(de)(de)開(kai)發(fa)(fa)(fa)習(xi)(xi)慣，更(geng)易上手。在(zai)訓(xun)練(lian)方(fang)面(mian)，飛(fei)槳(jiang)平(ping)臺突破了(le)超大規模深(shen)度學(xue)(xue)習(xi)(xi)模型(xing)訓(xun)練(lian)技(ji)術，研(yan)制(zhi)了(le)千億特征、萬(wan)億參數、數百節點的(de)(de)(de)(de)開(kai)源大規模訓(xun)練(lian)平(ping)臺，實現(xian)了(le)萬(wan)億規模參數深(shen)度學(xue)(xue)習(xi)(xi)模型(xing)的(de)(de)(de)(de)實時更(geng)新(xin)。在(zai)自(zi)(zi)然語言(yan)處(chu)理領域，PADDLE-NLP提(ti)供了(le)面(mian)向6類任(ren)務下的(de)(de)(de)(de)30+算法模型(xing)，包括上述工作(zuo)中ERNIE、D-NET等(deng)多個國際競賽的(de)(de)(de)(de)冠軍模型(xing)。