國內“千模大戰”下，誰(shuí)是最聰明的大模型？《麻省理工科技評論》中國最新發(fā)布的大模型評測報告給出了答案。

(資料圖片僅供參考)

報告顯示，在8個(gè)一級大類(lèi)的600道題目的測試和盲評中，訊飛星火認知大模型V2.0在6個(gè)大類(lèi)中得分率排名第一，在此次評測中表現突出，以 81.5 分(百分制計)的成績(jì)在本次評測中登頂，榮獲“最聰明”的國產(chǎn)大模型稱(chēng)號。

圖：大模型評測綜合得分率

圖：4個(gè)大模型各項能力雷達圖

《麻省理工科技評論》中國從研發(fā)和商業(yè)化能力、外界態(tài)度以及發(fā)展趨勢等維度全方位檢測大模型的能力，力圖評出“最聰明”的國產(chǎn)大模型。選取了“訊飛星火”、“百度文心一言”、“商湯商量”、“阿里通義千問(wèn)”作為中文大模型平臺的代表，展開(kāi)系統、科學(xué)的評測。

本次評測使用的測試集包含600道題目，覆蓋了語(yǔ)言專(zhuān)項、數學(xué)專(zhuān)項、理科綜合、文科綜合、邏輯思維、編程能力、綜合知識、安全性共 8 個(gè)一級大類(lèi)，126 個(gè)二級分類(lèi)，290 個(gè)三級標簽，并針對問(wèn)題的豐富性和多樣性做了優(yōu)化。

在題目類(lèi)型上，為了兼顧定量、定性的評價(jià)與測試，設置了“單選”、“多選”、“填空”、“簡(jiǎn)答”4個(gè)題型，分別有 145 道、138 道、136 道和 181 道。大模型評測體系使用盲評方式，客觀(guān)評估國產(chǎn)大模型的聰明程度。

作為“最聰明”的大模型的基礎能力，語(yǔ)言專(zhuān)項評測包含對話(huà)理解、多語(yǔ)種、諷刺、古詩(shī)詞理解、文本生成、要點(diǎn)總結、情感分析、語(yǔ)義判斷等 61 個(gè)二級分類(lèi)，題型則以簡(jiǎn)答為主。結果顯示，訊飛星火 85.73%的得分率排名第一，明顯高于平均值。

圖：語(yǔ)言專(zhuān)項評測得分率

數學(xué)專(zhuān)項評測，是“最聰明”大模型必不可少的評測維度。本次評測包含代數、幾何、解方程、復雜數學(xué)、統計學(xué)等 9 個(gè)二級分類(lèi)，以選擇題為主。

其中，訊飛星火以 77.75% 的得分率名列第一，遠高于平均得分率 56%，其他平臺得分率基本相當。報告稱(chēng)，在大模型普遍“數學(xué)不好”的情況下，訊飛星火這一成績(jì)頗為難得，其在數學(xué)專(zhuān)項上的領(lǐng)先同樣體現在二級分類(lèi)的評分結果上，在 77.8%的二級分類(lèi)中得分率第一，遠超其他平臺，初步判斷其擅長(cháng)幾何與情景應用。

圖：數學(xué)專(zhuān)項評測得分率

作為體現大模型“聰明程度”不可或缺的“硬核”部分，理科綜合評測包含表格問(wèn)答、化學(xué)、生物、物理、醫學(xué) 5 個(gè)二級分類(lèi)，題型上以單選和簡(jiǎn)答為主。

評測結果中，訊飛星火 78.50% 的得分率排名第一。另外，訊飛星火在理科綜合大類(lèi)下 80% 的二級分類(lèi)評測中得分率為第一，化學(xué)與生物較為突出。

圖：理科綜合評測得分率

邏輯思維也是“最聰明”大模型的重要體現，本次邏輯思維評測在邏輯推理、思維鏈等方面設計了較多的題目，包含類(lèi)比、常識推理、空間方位、演繹推理、邏輯謬誤檢測、因果推理等 19 個(gè)二級分類(lèi)，題型上相對平均，其中填空題最多，多選題最少。

在邏輯思維題目中，訊飛星火 81.25%的得分率名列第一，明顯高于 72.6% 的平均值。此外，訊飛星火在邏輯思維 63.2% 的二級分類(lèi)問(wèn)題上得分率第一。邏輯思維對于大模型真正理解物理世界相當重要。

圖：邏輯思維評測得分率

編程能力是大模型比較高階的能力，本次的編程能力評測包含 ASCII、ASCII碼識別、Python、代碼、代碼修正、計算機 6 個(gè)二級分類(lèi)，其中 Python 主要以簡(jiǎn)答形式評估大模型的代碼生成能力和正確率，其他則以客觀(guān)題的形式考察。

結果顯示，訊飛星火 80% 的得分率明顯高于 71%的平均值，其他平臺得分率基本相當。值得一提的是，在許多人關(guān)心的生成代碼的簡(jiǎn)答題單項上，訊飛星火的得分率高達 82%，遠高于其他平臺，表現頗為亮眼。

圖：編程能力評測綜合得分率

作為比較難的評測維度，綜合知識對大模型的“聰明”程度要求也很高，涉及的題目較雜，包含百科問(wèn)答、常識、科學(xué)知識、事實(shí)問(wèn)答、工作技巧、謎語(yǔ)等 13 個(gè)二級分類(lèi)，題型以多選為主。

在綜合知識評測上，訊飛星火 80.61% 的得分率排名第一，在 84.6% 的二級分類(lèi)上得分率第一，初步顯示出在百科問(wèn)答和歷史人文上的“過(guò)人之處”。

圖：綜合知識評測得分率

報告指出，在本輪大模型評測中，訊飛星火以 81.5 分的成績(jì)拔得頭籌，成為“最聰明”的國產(chǎn)大模型。

訊飛星火在編程能力、理科綜合、邏輯思維、數學(xué)專(zhuān)項、語(yǔ)言專(zhuān)項和綜合知識這 6 個(gè)一級大類(lèi)中得分率排名第一，在此次評測中表現十分全面，尤其是在代碼生成、數學(xué)能力、理科與邏輯等方面優(yōu)勢明顯，是本次“最聰明的理科生”。

值得一提的是，從題型角度來(lái)看，主觀(guān)簡(jiǎn)答題中訊飛星火憑借 83.98% 的得分率位居第一；而在客觀(guān)題上，訊飛星火以 75.7% 的得分率排名第一，在主客觀(guān)體型中均有良好表現。

此外，就在8月12日，新華社研究院中國企業(yè)發(fā)展研究中心發(fā)布的《人工智能大模型體驗報告2.0》中，訊飛星火V1.5以總分1013分位列本次國產(chǎn)主流大模型測評榜首位，在四大評測維度中的智商指數和工具提效指數兩個(gè)維度獲得第一，《報告》認為訊飛星火“在工作提效方面優(yōu)勢明顯”。

在剛剛過(guò)去的8月15日，訊飛星火認知大模型V2.0如期發(fā)布，進(jìn)一步突破代碼能力和多模態(tài)能力。技術(shù)獲得重大突破的同時(shí)，搭載訊飛星火V2.0核心能力的應用和產(chǎn)品也越來(lái)越豐富：既有輔助程序員高效工作的智能編碼助手iFlyCode1.0、能夠進(jìn)行視頻創(chuàng )作的訊飛智作2.0、能夠便捷搭建輕應用的教育數字基座應用開(kāi)發(fā)助手，還有幫助教師設計教學(xué)活動(dòng)、一鍵生成課件的星火教師助手、面向英語(yǔ)學(xué)習者口語(yǔ)練習的星火語(yǔ)伴2.0，訊飛AI學(xué)習機也升級AI 1對1智能編程助手和AI 1對1創(chuàng )意繪畫(huà)伙伴。此外，科大訊飛還和華為聯(lián)合發(fā)布星火一體機，讓每一家企業(yè)都有機會(huì )構建專(zhuān)屬大模型。

關(guān)鍵詞：