2022年6月，浪潮“源1.0”大(da)模型(xing)登頂中(zhong)文(wen)語(yu)言能力(li)理解和(he)生(sheng)成評(ping)測(ce)(ce)基(ji)準CUGE總(zong)榜(bang)榜(bang)首，并(bing)獲得語(yu)言理解（篇章級(ji)）、語(yu)言生(sheng)成、對話交互(hu)、多語(yu)言、數學(xue)推理等5項(xiang)評(ping)測(ce)(ce)最佳成績。這是繼(ji)源1.0攬(lan)獲權威中(zhong)文(wen)語(yu)言評(ping)測(ce)(ce)基(ji)準CLUE榜(bang)單的(de)零樣(yang)本學(xue)習(xi)和(he)小樣(yang)本學(xue)習(xi)兩(liang)類總(zong)榜(bang)冠軍后，再次在評(ping)測(ce)(ce)中(zhong)展現強(qiang)大(da)實(shi)力(li)。

CUGE(Chinese Language Understanding and Generation Evaluation)智(zhi)(zhi)源指數是(shi)由清華(hua)大(da)學、北京(jing)大(da)學、北京(jing)智(zhi)(zhi)源研究院等(deng)高校機構共同建立的(de)中文機器(qi)語(yu)(yu)言能(neng)力評(ping)測(ce)基(ji)準，該基(ji)準針對(dui)當前自然語(yu)(yu)言處(chu)理和人工智(zhi)(zhi)能(neng)發展新范式，面向具有“通用語(yu)(yu)言能(neng)力”的(de)預訓練模型，全面系統、多(duo)(duo)層次、多(duo)(duo)維(wei)度(du)地評(ping)測(ce)大(da)模型能(neng)力。

源1.0領跑多類綜合語言場景

在(zai)語言理(li)解(jie)(篇章級)評測中(zhong)，源1.0僅用(yong)時11分鐘(zhong)，便完成(cheng)數千(qian)篇閱讀理(li)解(jie)回答4000多(duo)個問題，以86.9高(gao)分的(de)成(cheng)績位居榜首，展(zhan)現出頂尖的(de)語言理(li)解(jie)能力。基于源1.0大(da)模型強大(da)的(de)閱讀理(li)解(jie)能力及高(gao)速(su)處理(li)大(da)量樣本(ben)的(de)特點，未來將加(jia)速(su)勞動密集型文本(ben)處理(li)等行業變革(ge)，如應用(yong)于智(zhi)能客服根(gen)據用(yong)戶(hu)提供的(de)信(xin)息(xi)在(zai)產品文檔(dang)中(zhong)快速(su)找到(dao)解(jie)決(jue)方(fang)案及智(zhi)能司法、智(zhi)能招聘系統等。

在語言生(sheng)成(cheng)(cheng)評測中(zhong)，源1.0僅用時(shi)70秒，就完成(cheng)(cheng)近800條摘(zhai)要內容的(de)(de)生(sheng)成(cheng)(cheng)，登頂(ding)該項榜單(dan)。源大模型強大的(de)(de)文(wen)(wen)本生(sheng)成(cheng)(cheng)能力(li)可(ke)提升(sheng)智(zhi)能問答(da)與對話、新聞摘(zhai)要、報(bao)告(gao)生(sheng)成(cheng)(cheng)等場(chang)景中(zhong)AI智(zhi)能化(hua)水平，如從長篇幅的(de)(de)新聞資訊等文(wen)(wen)本中(zhong)提取(qu)出簡明扼要的(de)(de)文(wen)(wen)字描(miao)述，便于及(ji)時(shi)、高效的(de)(de)獲取(qu)有價(jia)值的(de)(de)信息及(ji)智(zhi)能文(wen)(wen)案、協助寫作等場(chang)景。

在(zai)(zai)多語言機器(qi)翻(fan)(fan)譯(yi)評測中，基于源(yuan)1.0大模型(xing)蒸餾出來的翻(fan)(fan)譯(yi)模型(xing)在(zai)(zai)完成(cheng)近4000千(qian)對中英(ying)文(wen)互譯(yi)后，登(deng)頂榜首(shou)，領先第二名15%。翻(fan)(fan)譯(yi)模型(xing)在(zai)(zai)基于源(yuan)1.0大模型(xing)閱讀的海量高質量數據集基礎上(shang)，采用(yong)維基百科、書籍、聯(lian)合(he)國(guo)文(wen)件及(ji)字幕(mu)組等近80G高質量數據集進行(xing)強化訓練，因此翻(fan)(fan)譯(yi)不僅專業準確(que)，同時更符合(he)中文(wen)表述。未來可廣泛應用(yong)于新聞、哲學、小說等日(ri)常的語言翻(fan)(fan)譯(yi)場景中。

在對話(hua)交互評測(ce)中(zhong)，基(ji)于(yu)源1.0大模型(xing)蒸餾出(chu)來的對話(hua)模型(xing)回答了(le)電影(ying)、音(yin)樂、旅行3個領域共近萬(wan)(wan)個主題對話(hua)，成(cheng)績位居(ju)榜(bang)首，領先第(di)二(er)名成(cheng)績30%，展現(xian)了(le)極(ji)強(qiang)(qiang)的智能對話(hua)能力(li)。在繼承源1.0大模型(xing)能力(li)的基(ji)礎上(shang)，對話(hua)模型(xing)采用了(le)2660萬(wan)(wan)條醫療(liao)、法律、保險等(deng)不同行業，歷史、電影(ying)、娛樂等(deng)不同場景的對話(hua)語料數據(ju)進行強(qiang)(qiang)化訓練(lian)，在知識(shi)問答、高頻閑(xian)聊等(deng)開放(fang)式任(ren)務上(shang)表(biao)現(xian)突出(chu)，此(ci)前已獲得業界權(quan)威(wei)測(ce)評WebQA開放(fang)問答數據(ju)集榜(bang)單冠軍。

當(dang)前，智(zhi)能對(dui)話普遍存(cun)在內(nei)容乏味、主題不連貫(guan)等問(wen)題，往往幾輪(lun)對(dui)話后，回答便空洞重(zhong)復，大大降低用(yong)戶(hu)體驗。知(zhi)識驅(qu)動的(de)(de)對(dui)話模(mo)型直(zhi)接連接到廣(guang)泛的(de)(de)知(zhi)識庫，大大增加(jia)對(dui)話內(nei)容的(de)(de)豐富度，在一(yi)定知(zhi)識背景下也不會偏(pian)題，更趨向于人(ren)類(lei)(lei)(lei)之(zhi)間(jian)的(de)(de)交談。不久前，源開發者(zhe)社區的(de)(de)一(yi)位(wei)開發者(zhe)基于源的(de)(de)對(dui)話模(mo)型創建了一(yi)位(wei)能與人(ren)類(lei)(lei)(lei)玩(wan)劇(ju)本殺(sha)的(de)(de)AI虛擬(ni)玩(wan)家，一(yi)位(wei)人(ren)類(lei)(lei)(lei)玩(wan)家與AI虛擬(ni)玩(wan)家聊天到深夜凌(ling)晨仍興趣盎然。以知(zhi)識驅(qu)動的(de)(de)對(dui)話模(mo)型，可廣(guang)泛應用(yong)于各(ge)類(lei)(lei)(lei)虛擬(ni)人(ren)、智(zhi)能助手、智(zhi)能客服等場景，并極大提升對(dui)話的(de)(de)智(zhi)能水平和用(yong)戶(hu)體驗。

源1.0在數學推理鋒芒初露

當前業界(jie)各類大(da)模型(xing)在自然語言處理(li)領域展示出(chu)了強大(da)的能(neng)力，但(dan)在數(shu)(shu)學(xue)領域卻還存在盲(mang)區。數(shu)(shu)學(xue)對邏輯和推(tui)理(li)能(neng)力有極強的要求，Open AI開(kai)發出(chu)多種方法訓(xun)練GPT-3的數(shu)(shu)學(xue)推(tui)理(li)能(neng)力，但(dan)在挑(tiao)戰(zhan)小(xiao)學(xue)數(shu)(shu)學(xue)應用題時，GPT-3也尚未及(ji)格(ge)，數(shu)(shu)學(xue)推(tui)理(li)能(neng)力甚至低于9-12歲兒童。

為更好評測大(da)模(mo)型邏輯推理(li)能力(li)(li)(li)(li)，CUGE專門設立了數(shu)(shu)學推理(li)能力(li)(li)(li)(li)榜單，主要考(kao)察模(mo)型數(shu)(shu)值計(ji)算能力(li)(li)(li)(li)，即考(kao)察對應(ying)(ying)用(yong)情(qing)景和任務(wu)的理(li)解抽(chou)象能力(li)(li)(li)(li)以及(ji)數(shu)(shu)值計(ji)算能力(li)(li)(li)(li)，類(lei)似于小(xiao)學數(shu)(shu)學應(ying)(ying)用(yong)題。數(shu)(shu)學推理(li)能力(li)(li)(li)(li)榜單數(shu)(shu)據(ju)庫(ku)內的數(shu)(shu)學題來(lai)自(zi)在線教育網(wang)站(zhan)提(ti)供的小(xiao)學數(shu)(shu)學應(ying)(ying)用(yong)題。

在(zai)CUGE數學推(tui)理(li)評測(ce)中，源(yuan)1.0大模型完成1000道小學數學應用題，以76.9的高(gao)分大幅領先高(gao)居榜首。

為(wei)應對大(da)模(mo)型(xing)(xing)在(zai)數(shu)學(xue)(xue)推理(li)方面(mian)(mian)的(de)(de)(de)(de)挑戰，浪潮(chao)為(wei)源(yuan)1.0開發了一(yi)套相似啟發式(shi)數(shu)據增(zeng)強的(de)(de)(de)(de)方案，給每(mei)一(yi)個(ge)要(yao)求解(jie)的(de)(de)(de)(de)數(shu)學(xue)(xue)問題(ti)從數(shu)據庫中(zhong)檢索并匹(pi)配(pei)一(yi)個(ge)相似的(de)(de)(de)(de)題(ti)目(mu)并與(yu)原題(ti)目(mu)進行拼接，通(tong)過(guo)類(lei)(lei)(lei)(lei)比學(xue)(xue)習(xi)(xi)，啟發大(da)模(mo)型(xing)(xing)能夠根據兩(liang)道相似問題(ti)更好地(di)學(xue)(xue)習(xi)(xi)如何給出解(jie)題(ti)表達式(shi)，進而學(xue)(xue)會每(mei)一(yi)類(lei)(lei)(lei)(lei)題(ti)目(mu)的(de)(de)(de)(de)解(jie)法，類(lei)(lei)(lei)(lei)似于人類(lei)(lei)(lei)(lei)在(zai)學(xue)(xue)習(xi)(xi)過(guo)程中(zhong)會通(tong)過(guo)連(lian)續學(xue)(xue)習(xi)(xi)同(tong)一(yi)類(lei)(lei)(lei)(lei)型(xing)(xing)的(de)(de)(de)(de)題(ti)目(mu)來(lai)提高(gao)對這一(yi)類(lei)(lei)(lei)(lei)型(xing)(xing)題(ti)目(mu)的(de)(de)(de)(de)理(li)解(jie)能力；同(tong)時，浪潮(chao)在(zai)源(yuan)1.0改進了算法掩碼策略，使得模(mo)型(xing)(xing)在(zai)學(xue)(xue)習(xi)(xi)過(guo)程中(zhong)只關注于連(lian)續的(de)(de)(de)(de)相似的(de)(de)(de)(de)題(ti)目(mu)，不(bu)受同(tong)一(yi)個(ge)輸入(ru)序列(lie)中(zhong)不(bu)相關題(ti)目(mu)的(de)(de)(de)(de)影響(xiang)，這樣(yang)模(mo)型(xing)(xing)可以更專注于學(xue)(xue)習(xi)(xi)同(tong)一(yi)類(lei)(lei)(lei)(lei)型(xing)(xing)的(de)(de)(de)(de)題(ti)目(mu)，極大(da)地(di)提升(sheng)了解(jie)題(ti)準確度，全方面(mian)(mian)培養一(yi)個(ge)數(shu)學(xue)(xue)學(xue)(xue)霸(ba)。

源1.0開源開放計劃收效顯著

目前，浪(lang)潮“源1.0”已經將(jiang)模型API、高質(zhi)量(liang)數據(ju)集、模型訓練代碼(ma)、推理代碼(ma)和(he)應(ying)用(yong)(yong)代碼(ma)等(deng)等(deng)工具和(he)能力開源開放，超過(guo)300家行業用(yong)(yong)戶(hu)和(he)開發者，通過(guo)“源1.0”提供的數據(ju)和(he)API顯著提升了金融、互聯(lian)網、醫(yi)療和(he)自(zi)動駕駛等(deng)行業應(ying)用(yong)(yong)的精度。浪(lang)潮源1.0將(jiang)持續助力行業用(yong)(yong)戶(hu)和(he)開發者，攜手推動技術創新(xin)、場(chang)景(jing)融合、應(ying)用(yong)(yong)開發，共(gong)同促進大(da)模型的健康發展與產業落地，加速AI產業化和(he)產業AI化發展。