2022年6月(yue)，浪(lang)潮“源1.0”大(da)模型登頂中文(wen)語(yu)言能力理(li)解和生成(cheng)評(ping)(ping)測基準(zhun)CUGE總榜榜首，并獲(huo)得語(yu)言理(li)解（篇章級）、語(yu)言生成(cheng)、對話(hua)交互、多語(yu)言、數學(xue)推理(li)等5項(xiang)評(ping)(ping)測最佳(jia)成(cheng)績(ji)。這是(shi)繼源1.0攬獲(huo)權威(wei)中文(wen)語(yu)言評(ping)(ping)測基準(zhun)CLUE榜單的零樣(yang)本學(xue)習和小(xiao)樣(yang)本學(xue)習兩類總榜冠軍后，再次在評(ping)(ping)測中展(zhan)現強大(da)實(shi)力。

CUGE(Chinese Language Understanding and Generation Evaluation)智源指數是由(you)清(qing)華(hua)大學、北京(jing)大學、北京(jing)智源研究院(yuan)等高(gao)校機構共同(tong)建立的中(zhong)文機器語(yu)言能(neng)力(li)評測(ce)基準，該基準針(zhen)對(dui)當(dang)前自然語(yu)言處(chu)理和(he)人工(gong)智能(neng)發展(zhan)新范式，面向具有“通用語(yu)言能(neng)力(li)”的預訓練模型，全面系統、多層次、多維(wei)度地(di)評測(ce)大模型能(neng)力(li)。

源1.0領跑多類綜合語言場景

在(zai)語言理(li)(li)(li)解(jie)(篇(pian)章級)評測中，源1.0僅(jin)用(yong)時11分鐘(zhong)，便完成數(shu)千篇(pian)閱讀(du)理(li)(li)(li)解(jie)回答4000多個問題，以(yi)86.9高分的(de)(de)成績位居(ju)榜首，展現出頂尖的(de)(de)語言理(li)(li)(li)解(jie)能力(li)。基(ji)于(yu)源1.0大模型強大的(de)(de)閱讀(du)理(li)(li)(li)解(jie)能力(li)及高速處理(li)(li)(li)大量樣本(ben)(ben)的(de)(de)特點(dian)，未來將加速勞動密(mi)集型文本(ben)(ben)處理(li)(li)(li)等行業變革，如應用(yong)于(yu)智(zhi)能客服根據用(yong)戶提供的(de)(de)信(xin)息在(zai)產品文檔中快速找到解(jie)決方案及智(zhi)能司法(fa)、智(zhi)能招(zhao)聘系統等。

在(zai)語言(yan)生(sheng)成(cheng)評(ping)測(ce)中(zhong)，源(yuan)1.0僅用(yong)時70秒，就完成(cheng)近800條(tiao)摘(zhai)要內(nei)容(rong)的(de)生(sheng)成(cheng)，登頂該(gai)項榜單。源(yuan)大模型強大的(de)文本生(sheng)成(cheng)能(neng)力可提升智能(neng)問答與對話、新聞(wen)摘(zhai)要、報告生(sheng)成(cheng)等場景中(zhong)AI智能(neng)化水平，如從長篇幅的(de)新聞(wen)資訊(xun)等文本中(zhong)提取(qu)出(chu)簡明(ming)扼要的(de)文字描述，便于及時、高效的(de)獲取(qu)有價(jia)值的(de)信息及智能(neng)文案(an)、協助寫作等場景。

在(zai)多語言(yan)機器(qi)翻譯(yi)(yi)評測中，基(ji)于(yu)源(yuan)1.0大模型(xing)蒸餾出來的翻譯(yi)(yi)模型(xing)在(zai)完(wan)成近4000千對中英(ying)文互譯(yi)(yi)后，登頂榜首，領(ling)先第二名(ming)15%。翻譯(yi)(yi)模型(xing)在(zai)基(ji)于(yu)源(yuan)1.0大模型(xing)閱(yue)讀的海量高質量數據集基(ji)礎(chu)上，采(cai)用維(wei)基(ji)百科、書籍、聯合(he)國文件(jian)及字幕(mu)組等近80G高質量數據集進行強化(hua)訓(xun)練，因(yin)此翻譯(yi)(yi)不僅專業準確，同(tong)時更符合(he)中文表(biao)述。未(wei)來可廣泛應用于(yu)新(xin)聞、哲學、小說等日常的語言(yan)翻譯(yi)(yi)場景中。

在(zai)對(dui)話交互評(ping)測中，基于源(yuan)1.0大模(mo)(mo)型(xing)蒸(zheng)餾出(chu)來的對(dui)話模(mo)(mo)型(xing)回答(da)(da)了電影(ying)、音(yin)樂(le)、旅行(xing)3個領(ling)域(yu)共(gong)近萬(wan)個主題對(dui)話，成績位居榜首，領(ling)先第二名成績30%，展(zhan)現(xian)(xian)了極(ji)強(qiang)的智能對(dui)話能力。在(zai)繼承源(yuan)1.0大模(mo)(mo)型(xing)能力的基礎上，對(dui)話模(mo)(mo)型(xing)采用了2660萬(wan)條(tiao)醫(yi)療、法律、保險等不同行(xing)業，歷史、電影(ying)、娛(yu)樂(le)等不同場(chang)景(jing)的對(dui)話語料數(shu)據進行(xing)強(qiang)化訓練，在(zai)知識問答(da)(da)、高(gao)頻(pin)閑聊等開放式任務上表現(xian)(xian)突出(chu)，此(ci)前已獲得(de)業界權威(wei)測評(ping)WebQA開放問答(da)(da)數(shu)據集榜單(dan)冠(guan)軍。

當前，智(zhi)能(neng)對(dui)話(hua)(hua)普遍存在內(nei)容乏味、主題不(bu)連貫等問題，往(wang)往(wang)幾輪(lun)對(dui)話(hua)(hua)后，回答便空(kong)洞重復，大(da)(da)大(da)(da)降(jiang)低用(yong)戶體(ti)驗。知識(shi)驅(qu)動的(de)(de)對(dui)話(hua)(hua)模(mo)型(xing)直接(jie)連接(jie)到廣泛的(de)(de)知識(shi)庫，大(da)(da)大(da)(da)增加(jia)對(dui)話(hua)(hua)內(nei)容的(de)(de)豐(feng)富度，在一定(ding)知識(shi)背景(jing)下也不(bu)會偏題，更趨向于人(ren)類(lei)(lei)之間的(de)(de)交談。不(bu)久前，源(yuan)開(kai)發者社區的(de)(de)一位開(kai)發者基于源(yuan)的(de)(de)對(dui)話(hua)(hua)模(mo)型(xing)創建了(le)一位能(neng)與(yu)人(ren)類(lei)(lei)玩(wan)劇本殺(sha)的(de)(de)AI虛(xu)擬(ni)玩(wan)家，一位人(ren)類(lei)(lei)玩(wan)家與(yu)AI虛(xu)擬(ni)玩(wan)家聊(liao)天到深夜凌晨仍興趣(qu)盎然。以知識(shi)驅(qu)動的(de)(de)對(dui)話(hua)(hua)模(mo)型(xing)，可廣泛應用(yong)于各類(lei)(lei)虛(xu)擬(ni)人(ren)、智(zhi)能(neng)助手(shou)、智(zhi)能(neng)客服等場景(jing)，并極大(da)(da)提升對(dui)話(hua)(hua)的(de)(de)智(zhi)能(neng)水平和用(yong)戶體(ti)驗。

源1.0在數學推理鋒芒初露

當前業界各類大(da)(da)模型在(zai)(zai)(zai)自然語言處理(li)領域(yu)展示出了強大(da)(da)的(de)(de)能(neng)力，但在(zai)(zai)(zai)數(shu)學(xue)領域(yu)卻還存在(zai)(zai)(zai)盲區。數(shu)學(xue)對邏(luo)輯和推(tui)理(li)能(neng)力有極強的(de)(de)要(yao)求，Open AI開發出多種方法訓(xun)練GPT-3的(de)(de)數(shu)學(xue)推(tui)理(li)能(neng)力，但在(zai)(zai)(zai)挑(tiao)戰小學(xue)數(shu)學(xue)應用題時，GPT-3也尚未及格，數(shu)學(xue)推(tui)理(li)能(neng)力甚至低(di)于9-12歲兒童。

為更(geng)好(hao)評測(ce)大(da)模(mo)型邏(luo)輯推理(li)能力，CUGE專門設立了數(shu)(shu)學推理(li)能力榜(bang)單，主要(yao)考(kao)察(cha)模(mo)型數(shu)(shu)值計算能力，即考(kao)察(cha)對(dui)應用(yong)情景和任務的理(li)解抽象能力以及數(shu)(shu)值計算能力，類似于小學數(shu)(shu)學應用(yong)題(ti)。數(shu)(shu)學推理(li)能力榜(bang)單數(shu)(shu)據庫內的數(shu)(shu)學題(ti)來自(zi)在線教育網(wang)站(zhan)提供的小學數(shu)(shu)學應用(yong)題(ti)。

在CUGE數學推(tui)理(li)評測中，源(yuan)1.0大模型完成1000道小學數學應(ying)用題，以76.9的高分大幅(fu)領(ling)先高居榜首。

為(wei)應對大模(mo)型(xing)在(zai)數(shu)學(xue)(xue)推理(li)(li)方(fang)(fang)面(mian)(mian)的(de)(de)(de)挑戰(zhan)，浪潮(chao)為(wei)源1.0開發(fa)了(le)一(yi)套相(xiang)似啟發(fa)式數(shu)據(ju)增強的(de)(de)(de)方(fang)(fang)案，給(gei)每一(yi)個(ge)(ge)要求解的(de)(de)(de)數(shu)學(xue)(xue)問(wen)題(ti)從數(shu)據(ju)庫中(zhong)檢(jian)索并匹配(pei)一(yi)個(ge)(ge)相(xiang)似的(de)(de)(de)題(ti)目并與原題(ti)目進(jin)行拼接，通過(guo)類(lei)(lei)比學(xue)(xue)習，啟發(fa)大模(mo)型(xing)能(neng)夠根據(ju)兩(liang)道(dao)相(xiang)似問(wen)題(ti)更好地(di)(di)學(xue)(xue)習如何給(gei)出解題(ti)表達式，進(jin)而(er)學(xue)(xue)會每一(yi)類(lei)(lei)題(ti)目的(de)(de)(de)解法，類(lei)(lei)似于(yu)人類(lei)(lei)在(zai)學(xue)(xue)習過(guo)程中(zhong)會通過(guo)連續學(xue)(xue)習同(tong)一(yi)類(lei)(lei)型(xing)的(de)(de)(de)題(ti)目來提(ti)高對這一(yi)類(lei)(lei)型(xing)題(ti)目的(de)(de)(de)理(li)(li)解能(neng)力；同(tong)時，浪潮(chao)在(zai)源1.0改進(jin)了(le)算法掩碼策略，使得模(mo)型(xing)在(zai)學(xue)(xue)習過(guo)程中(zhong)只關(guan)注(zhu)(zhu)于(yu)連續的(de)(de)(de)相(xiang)似的(de)(de)(de)題(ti)目，不受同(tong)一(yi)個(ge)(ge)輸入序列中(zhong)不相(xiang)關(guan)題(ti)目的(de)(de)(de)影響，這樣模(mo)型(xing)可以更專注(zhu)(zhu)于(yu)學(xue)(xue)習同(tong)一(yi)類(lei)(lei)型(xing)的(de)(de)(de)題(ti)目，極大地(di)(di)提(ti)升了(le)解題(ti)準確(que)度，全(quan)方(fang)(fang)面(mian)(mian)培養(yang)一(yi)個(ge)(ge)數(shu)學(xue)(xue)學(xue)(xue)霸。

源1.0開源開放計劃收效顯著

目前，浪潮“源(yuan)(yuan)1.0”已(yi)經(jing)將(jiang)模(mo)型API、高質量數據(ju)集、模(mo)型訓(xun)練代碼、推理(li)代碼和(he)應用(yong)代碼等(deng)等(deng)工具和(he)能力(li)開(kai)源(yuan)(yuan)開(kai)放，超過(guo)(guo)300家行(xing)業用(yong)戶(hu)和(he)開(kai)發者，通過(guo)(guo)“源(yuan)(yuan)1.0”提供的(de)數據(ju)和(he)API顯著提升(sheng)了金融、互聯網、醫療和(he)自動駕駛等(deng)行(xing)業應用(yong)的(de)精度。浪潮源(yuan)(yuan)1.0將(jiang)持(chi)續(xu)助力(li)行(xing)業用(yong)戶(hu)和(he)開(kai)發者，攜(xie)手(shou)推動技術創(chuang)新、場景融合、應用(yong)開(kai)發，共同促進大模(mo)型的(de)健康發展(zhan)(zhan)與產業落地，加速AI產業化和(he)產業AI化發展(zhan)(zhan)。