2022年6月，浪潮“源1.0”大(da)模型登(deng)頂中(zhong)文(wen)語言(yan)(yan)能(neng)力理(li)解和生成(cheng)評測(ce)基(ji)準CUGE總榜榜首，并獲得語言(yan)(yan)理(li)解（篇章級）、語言(yan)(yan)生成(cheng)、對話交(jiao)互、多(duo)語言(yan)(yan)、數學推理(li)等5項評測(ce)最佳成(cheng)績(ji)。這是(shi)繼(ji)源1.0攬獲權威中(zhong)文(wen)語言(yan)(yan)評測(ce)基(ji)準CLUE榜單的(de)零樣(yang)本學習和小(xiao)樣(yang)本學習兩類總榜冠軍后，再次在評測(ce)中(zhong)展(zhan)現強大(da)實力。

CUGE(Chinese Language Understanding and Generation Evaluation)智(zhi)源指數是(shi)由(you)清華大(da)學、北京大(da)學、北京智(zhi)源研究院(yuan)等高(gao)校機構共同(tong)建(jian)立(li)的中文機器語言能(neng)(neng)力(li)(li)評(ping)測(ce)基(ji)準，該(gai)基(ji)準針對當前自然語言處理(li)和人工智(zhi)能(neng)(neng)發展新(xin)范式，面向具(ju)有“通用語言能(neng)(neng)力(li)(li)”的預(yu)訓練(lian)模型(xing)，全面系統、多(duo)層次、多(duo)維度地評(ping)測(ce)大(da)模型(xing)能(neng)(neng)力(li)(li)。

源1.0領跑多類綜合語言場景

在語言理(li)(li)解(jie)(jie)(篇章級(ji))評測中，源(yuan)1.0僅用時11分鐘，便完成(cheng)數千篇閱讀理(li)(li)解(jie)(jie)回答4000多個問題(ti)，以(yi)86.9高分的成(cheng)績位居榜(bang)首(shou)，展現出(chu)頂(ding)尖的語言理(li)(li)解(jie)(jie)能(neng)(neng)(neng)力(li)。基于源(yuan)1.0大(da)模型強大(da)的閱讀理(li)(li)解(jie)(jie)能(neng)(neng)(neng)力(li)及高速處(chu)理(li)(li)大(da)量(liang)樣本(ben)(ben)的特點，未來將加速勞動密(mi)集型文(wen)本(ben)(ben)處(chu)理(li)(li)等行業變革(ge)，如應(ying)用于智(zhi)能(neng)(neng)(neng)客(ke)服根據用戶提供(gong)的信息在產品文(wen)檔中快速找到解(jie)(jie)決方案(an)及智(zhi)能(neng)(neng)(neng)司法、智(zhi)能(neng)(neng)(neng)招(zhao)聘系(xi)統等。

在語言生(sheng)(sheng)成(cheng)(cheng)評測中(zhong)，源1.0僅(jin)用時70秒，就完成(cheng)(cheng)近(jin)800條摘要內容的(de)生(sheng)(sheng)成(cheng)(cheng)，登頂該項榜單(dan)。源大模(mo)型強大的(de)文(wen)(wen)本生(sheng)(sheng)成(cheng)(cheng)能力可提升智能問答(da)與對話、新聞摘要、報(bao)告生(sheng)(sheng)成(cheng)(cheng)等場(chang)景(jing)中(zhong)AI智能化水平，如從長篇幅的(de)新聞資訊等文(wen)(wen)本中(zhong)提取(qu)出簡明(ming)扼(e)要的(de)文(wen)(wen)字描述，便于及時、高效(xiao)的(de)獲(huo)取(qu)有價值的(de)信息及智能文(wen)(wen)案、協(xie)助寫作等場(chang)景(jing)。

在多(duo)語(yu)言機器翻(fan)譯評測中，基(ji)(ji)于(yu)源1.0大模型蒸餾(liu)出來的(de)翻(fan)譯模型在完成近4000千(qian)對中英文互譯后，登頂榜首，領先第二名(ming)15%。翻(fan)譯模型在基(ji)(ji)于(yu)源1.0大模型閱讀的(de)海量(liang)高(gao)質(zhi)量(liang)數據(ju)集基(ji)(ji)礎上(shang)，采用維基(ji)(ji)百科、書籍、聯合國文件及字幕組等(deng)(deng)近80G高(gao)質(zhi)量(liang)數據(ju)集進行強化訓(xun)練，因此(ci)翻(fan)譯不僅專業準確，同時(shi)更(geng)符合中文表述。未(wei)來可廣(guang)泛應(ying)用于(yu)新聞、哲學、小(xiao)說等(deng)(deng)日常的(de)語(yu)言翻(fan)譯場景中。

在(zai)對(dui)話(hua)(hua)交(jiao)互評測(ce)(ce)中(zhong)，基(ji)于(yu)源(yuan)1.0大模(mo)型蒸餾出來的對(dui)話(hua)(hua)模(mo)型回(hui)答(da)了電影、音(yin)樂(le)、旅行3個(ge)領域共近萬個(ge)主(zhu)題對(dui)話(hua)(hua)，成(cheng)績(ji)位(wei)居榜首，領先第二名成(cheng)績(ji)30%，展現(xian)了極強的智能對(dui)話(hua)(hua)能力。在(zai)繼承(cheng)源(yuan)1.0大模(mo)型能力的基(ji)礎上(shang)，對(dui)話(hua)(hua)模(mo)型采用了2660萬條醫療、法(fa)律、保險(xian)等不(bu)同(tong)行業(ye)，歷史、電影、娛樂(le)等不(bu)同(tong)場景的對(dui)話(hua)(hua)語料數據進行強化訓練，在(zai)知識問(wen)答(da)、高頻閑聊等開放式任務上(shang)表現(xian)突(tu)出，此(ci)前已獲(huo)得業(ye)界(jie)權威(wei)測(ce)(ce)評WebQA開放問(wen)答(da)數據集榜單冠軍。

當前(qian)(qian)，智(zhi)(zhi)能(neng)(neng)(neng)(neng)對(dui)(dui)話(hua)(hua)普遍存在(zai)內容乏味、主(zhu)題不連貫等(deng)問題，往往幾輪對(dui)(dui)話(hua)(hua)后(hou)，回答便空洞(dong)重復，大(da)(da)大(da)(da)降低用(yong)戶體(ti)驗。知(zhi)識驅動的(de)對(dui)(dui)話(hua)(hua)模(mo)(mo)型直接連接到(dao)(dao)廣泛的(de)知(zhi)識庫(ku)，大(da)(da)大(da)(da)增加(jia)對(dui)(dui)話(hua)(hua)內容的(de)豐富度，在(zai)一(yi)定(ding)知(zhi)識背景下也不會偏題，更趨(qu)向于(yu)人(ren)類之(zhi)間的(de)交談。不久前(qian)(qian)，源開(kai)發者(zhe)社區的(de)一(yi)位開(kai)發者(zhe)基于(yu)源的(de)對(dui)(dui)話(hua)(hua)模(mo)(mo)型創建了一(yi)位能(neng)(neng)(neng)(neng)與人(ren)類玩劇本(ben)殺(sha)的(de)AI虛擬(ni)(ni)玩家，一(yi)位人(ren)類玩家與AI虛擬(ni)(ni)玩家聊天到(dao)(dao)深夜凌晨(chen)仍興趣盎然。以知(zhi)識驅動的(de)對(dui)(dui)話(hua)(hua)模(mo)(mo)型，可(ke)廣泛應用(yong)于(yu)各類虛擬(ni)(ni)人(ren)、智(zhi)(zhi)能(neng)(neng)(neng)(neng)助手、智(zhi)(zhi)能(neng)(neng)(neng)(neng)客(ke)服等(deng)場景，并極大(da)(da)提升(sheng)對(dui)(dui)話(hua)(hua)的(de)智(zhi)(zhi)能(neng)(neng)(neng)(neng)水(shui)平和(he)用(yong)戶體(ti)驗。

源1.0在數學推理鋒芒初露

當前業界各類大模型在(zai)自然(ran)語言處(chu)理(li)領(ling)域(yu)展示出(chu)了強大的能力(li)(li)(li)，但(dan)在(zai)數(shu)學(xue)領(ling)域(yu)卻還存在(zai)盲區。數(shu)學(xue)對邏輯和推理(li)能力(li)(li)(li)有極(ji)強的要求，Open AI開發出(chu)多種方(fang)法訓練GPT-3的數(shu)學(xue)推理(li)能力(li)(li)(li)，但(dan)在(zai)挑戰小學(xue)數(shu)學(xue)應用(yong)題時，GPT-3也尚未及(ji)格，數(shu)學(xue)推理(li)能力(li)(li)(li)甚至低于9-12歲兒童。

為更(geng)好評測大模型邏(luo)輯推(tui)理能(neng)力(li)(li)，CUGE專門設立了數學(xue)(xue)推(tui)理能(neng)力(li)(li)榜單，主(zhu)要考察模型數值計(ji)算能(neng)力(li)(li)，即考察對(dui)應(ying)用(yong)情(qing)景和任務的理解(jie)抽(chou)象能(neng)力(li)(li)以(yi)及(ji)數值計(ji)算能(neng)力(li)(li)，類(lei)似于小學(xue)(xue)數學(xue)(xue)應(ying)用(yong)題。數學(xue)(xue)推(tui)理能(neng)力(li)(li)榜單數據庫內的數學(xue)(xue)題來自在線(xian)教育(yu)網站(zhan)提供(gong)的小學(xue)(xue)數學(xue)(xue)應(ying)用(yong)題。

在CUGE數學推理評測(ce)中，源1.0大模型完(wan)成1000道小學數學應用題(ti)，以76.9的(de)高(gao)分(fen)大幅領(ling)先高(gao)居榜(bang)首(shou)。

為應對大模型(xing)在(zai)(zai)數(shu)學(xue)(xue)(xue)(xue)推理方(fang)(fang)(fang)面(mian)的(de)挑戰，浪潮為源1.0開發(fa)了(le)一(yi)套相似(si)(si)啟發(fa)式數(shu)據增強(qiang)的(de)方(fang)(fang)(fang)案，給每(mei)一(yi)個要(yao)求解的(de)數(shu)學(xue)(xue)(xue)(xue)問(wen)題(ti)(ti)(ti)(ti)(ti)從(cong)數(shu)據庫中檢索并匹配(pei)一(yi)個相似(si)(si)的(de)題(ti)(ti)(ti)(ti)(ti)目(mu)并與原題(ti)(ti)(ti)(ti)(ti)目(mu)進行拼接，通過(guo)類(lei)(lei)比學(xue)(xue)(xue)(xue)習(xi)，啟發(fa)大模型(xing)能夠根據兩道相似(si)(si)問(wen)題(ti)(ti)(ti)(ti)(ti)更好地學(xue)(xue)(xue)(xue)習(xi)如何給出解題(ti)(ti)(ti)(ti)(ti)表達(da)式，進而學(xue)(xue)(xue)(xue)會每(mei)一(yi)類(lei)(lei)題(ti)(ti)(ti)(ti)(ti)目(mu)的(de)解法，類(lei)(lei)似(si)(si)于(yu)人類(lei)(lei)在(zai)(zai)學(xue)(xue)(xue)(xue)習(xi)過(guo)程中會通過(guo)連(lian)續學(xue)(xue)(xue)(xue)習(xi)同(tong)一(yi)類(lei)(lei)型(xing)的(de)題(ti)(ti)(ti)(ti)(ti)目(mu)來提高對這一(yi)類(lei)(lei)型(xing)題(ti)(ti)(ti)(ti)(ti)目(mu)的(de)理解能力；同(tong)時，浪潮在(zai)(zai)源1.0改(gai)進了(le)算法掩碼策略(lve)，使得模型(xing)在(zai)(zai)學(xue)(xue)(xue)(xue)習(xi)過(guo)程中只關(guan)注于(yu)連(lian)續的(de)相似(si)(si)的(de)題(ti)(ti)(ti)(ti)(ti)目(mu)，不受同(tong)一(yi)個輸(shu)入序列中不相關(guan)題(ti)(ti)(ti)(ti)(ti)目(mu)的(de)影響，這樣(yang)模型(xing)可以(yi)更專注于(yu)學(xue)(xue)(xue)(xue)習(xi)同(tong)一(yi)類(lei)(lei)型(xing)的(de)題(ti)(ti)(ti)(ti)(ti)目(mu)，極(ji)大地提升了(le)解題(ti)(ti)(ti)(ti)(ti)準確度，全方(fang)(fang)(fang)面(mian)培養一(yi)個數(shu)學(xue)(xue)(xue)(xue)學(xue)(xue)(xue)(xue)霸。

源1.0開源開放計劃收效顯著

目前，浪(lang)(lang)潮(chao)“源(yuan)(yuan)1.0”已經(jing)將(jiang)模(mo)型API、高質量數據集、模(mo)型訓練(lian)代碼、推理代碼和(he)應(ying)(ying)用(yong)代碼等等工具和(he)能力開(kai)(kai)源(yuan)(yuan)開(kai)(kai)放，超(chao)過(guo)300家行業用(yong)戶和(he)開(kai)(kai)發者，通過(guo)“源(yuan)(yuan)1.0”提供的數據和(he)API顯著提升了金融(rong)、互(hu)聯(lian)網(wang)、醫療和(he)自動駕駛等行業應(ying)(ying)用(yong)的精(jing)度(du)。浪(lang)(lang)潮(chao)源(yuan)(yuan)1.0將(jiang)持續助力行業用(yong)戶和(he)開(kai)(kai)發者，攜手推動技術創(chuang)新、場(chang)景融(rong)合(he)、應(ying)(ying)用(yong)開(kai)(kai)發，共(gong)同(tong)促進大模(mo)型的健康發展與產業落地，加速AI產業化和(he)產業AI化發展。