《麻省理工科技评论》中国发布大模型评测

华龙网-新重庆客户端讯（首席记者 佘振芳）中国的大模型有多聪明？近日，《麻省理工科技评论》中国发布大模型评测显示，在8个一级大类的600道题目的测试和盲评中，讯飞星火认知大模型V2.0在6个大类中得分率排名第一，在此次评测中表现突出，以 81.5 分（百分制计）的成绩在本次评测中登顶，荣获“最聪明”的国产大模型称号。

《麻省理工科技评论》中国从研发和商业化能力、外界态度以及发展趋势等维度全方位检测大模型的能力，力图评出“最聪明”的国产大模型。选取了“讯飞星火”“商汤商量”“阿里通义千问”等作为中文大模型平台的代表，展开系统科学的评测。

本次评测使用的测试集包含600道题目，覆盖语言专项、数学专项、理科综合、文科综合、逻辑思维、编程能力、综合知识、安全性共 8 个一级大类，126 个二级分类，290 个三级标签，并针对问题的丰富性和多样性进行优化。

在题目类型上，为兼顾定量、定性的评价与测试，设置了“单选”“多选”“填空”“简答”4个题型，分别有 145 道、138 道、136 道和 181 道。大模型评测体系使用盲评方式，客观评估国产大模型的聪明程度。

作为“最聪明”大模型的基础能力，语言专项评测包含对话理解、多语种、讽刺、古诗词理解、文本生成、要点总结、情感分析、语义判断等 61 个二级分类，题型则以简答为主。结果显示，讯飞星火 85.73%的得分率排名第一，明显高于平均值。

数学专项评测，是“最聪明”大模型必不可少的评测维度。本次评测包含代数、几何、解方程、复杂数学、统计学等 9 个二级分类，以选择题为主。其中，讯飞星火以 77.75% 的得分率名列第一，远高于平均得分率 56%。

逻辑思维也是“最聪明”大模型的重要体现，本次逻辑思维评测在逻辑推理、思维链等方面设计了较多的题目，包含类比、常识推理、空间方位、演绎推理、逻辑谬误检测、因果推理等 19 个二级分类，题型上相对平均，其中填空题最多，多选题最少。在逻辑思维题目中，讯飞星火 81.25%的得分率名列第一。

报告指出，在本轮大模型评测中，讯飞星火以 81.5 分的成绩拔得头筹，其在编程能力、理科综合、逻辑思维、数学专项、语言专项和综合知识这 6 个一级大类中得分率排名第一，在此次评测中表现全面，尤其是在代码生成、数学能力、理科与逻辑等方面优势明显，是本次“最聪明的理科生”。

8月12日，新华社研究院中国企业发展研究中心发布的《人工智能大模型体验报告2.0》中，讯飞星火V1.5也以总分1013分位列本次国产主流大模型测评榜首位，在四大评测维度中的智商指数和工具提效指数两个维度获得第一，《报告》认为讯飞星火“在工作提效方面优势明显”。

在刚刚过去的8月15日，讯飞星火认知大模型V2.0发布，进一步突破代码能力和多模态能力。科大讯飞还和华为联合发布星火一体机，让每家企业都有机会构建专属大模型。