SuperCLUE——中文大模型的“横评标尺”,从基础能力到Agent智能体,谁在裸泳一测便知 | SeoAIu
AI工具发现

SuperCLUE——中文大模型的“横评标尺”,从基础能力到Agent智能体,谁在裸泳一测便知

5 使用

SuperCLUE是中文通用大模型综合性测评基准,由CLUE团队发布。它通过开放域多轮、封闭域客观题、匿名对战三大基准,以及数学推理、代码生成、Agent等维度,定期发布月度与半年度报告,为中文大模型提供权威、多维度的能力评估与排名。

工具详情 readonly

当“道听途说”取代了真实衡量,谁在裸泳?

不知道你有没有过这种经历——一个AI产品发布时“吊打GPT-4”,过两个月你再用它,发现连个简单的数学题都算不对。厂商的宣传稿一个比一个响亮,但你根本不知道这些模型到底擅长什么、不擅长什么。选模型像开盲盒,用了才发现货不对板。

我太懂这种感觉了。 尤其是当你的业务要落地、要选型、要评估投入产出比的时候,没有一个靠谱的“标尺”,一切决策都像在猜。

这就是SuperCLUE存在的原因。

一个从2019年生长出来的“中文AI标尺”

SuperCLUE的前身是CLUE(中文语言理解测评基准),2019年就成立了。在当时大模型还没火起来的时候,CLUE团队就已经在做一件事:用科学的方法给中文AI模型打分。从最早的文本分类、阅读理解,到后来的FewCLUE、ZeroCLUE,他们一直在积累

2023年,大模型爆发,CLUE升级为SuperCLUE——一个专门针对中文通用大模型的综合性测评基准。它要回答三个核心问题:这些模型效果怎么样?跟国际上的代表模型比处在什么水平?跟人类比差多远? 

它不是“排个名就完事”,而是三层体系在干活

SuperCLUE的测评体系分为三大基准,对应不同的评价维度

第一层:SuperCLUE-Open(开放域多轮交互)——模拟真实对话场景,看模型在自由、开放式对话中的表现,特别是多轮交互能力。2023年的数据里,GPT-4在这个维度拿到了94.64分,而当时的国内模型多在20-50分区间

第二层:SuperCLUE-Opt(三大能力客观题)——封闭域测试,用标准化的客观题考察模型的基础能力、中文特性、学术专业三大块。基础能力又细分为10个子项:语义理解、闲聊、上下文对话、角色扮演、知识与百科、生成与创作、逻辑与推理、代码、计算、安全。中文特性则聚焦字形拼音、诗词对联、成语方言等本土化能力

第三层:SuperCLUE-LYB(琅琊榜匿名对战)——众包模式下,让模型匿名PK,由用户投票判断哪个回答更好

这三层加在一起,既覆盖了“能不能聊”,也覆盖了“会不会算”,还覆盖了“用户觉得谁更好”。

它的测评维度一直在“追着技术跑”

SuperCLUE最让我服气的地方在于,它不是一套题目用到底,而是跟着技术演进不断升级

2023年7月,它发布第一版榜单时,核心是10大基础能力。2024年上半年,它把维度升级为理科、文科、Hard三大类,加入了精确指令遵循等更难的任务。2025年,它推出了SuperCLUE-Agent专项,专门测模型在工具调用、任务规划、长短期记忆这三个核心Agent能力上的表现。同年,它还发布了SuperCLUE-Science,专门测研究生级别的物理、化学、生物科学推理能力。到了2025年7月的最新榜单,测评维度已经扩展到数学推理、科学推理、代码生成、智能体Agent、精确指令遵循、幻觉控制六大任务

从“会不会聊天”到“会不会推理”,再到“会不会干活”,SuperCLUE的维度升级,几乎就是中文大模型能力进化的一个缩影。

2025年的榜单透露了什么?

最新数据显示:

全球头部模型里,OpenAI的o3以73.78分领跑,o4-mini(high)和Gemini-2.5-Pro紧随其后。国内模型中,豆包Seed-1.6-thinking以68.04分排国内第一、全球第四

在基础模型榜单上,国内模型整体优于国外。Qwen3-235B-A22B-Instruct-2507以60.79分位居榜首,DeepSeek-V3-0324和kimi-k2-0711-preview紧随其后,而ChatGPT-4o-latest仅拿到52.46分

国内开源模型优势显著。DeepSeek-R1-0528、Qwen3-235B-A22B-Thinking-2507和GLM-4.5位列开源前三,而海外开源模型最好成绩仅46.37分,差距近20分

智能体Agent任务上,豆包Seed-1.6-thinking以90.67分领跑全球,GLM-4.5和SenseNovaV6Reasoner紧随其后

但差距依然存在:在推理任务上,o3和o4-mini(high)分别拿到75.02和72.68分,国内最好的DeepSeek-R1-0528和豆包Seed-1.6-thinking仅65分出头,相差近10分

最后说点实在的

如果你是一家企业的技术负责人,正在评估用哪个大模型来做产品落地,SuperCLUE的榜单是你绕不开的参考资料。别只看总分,去看细分维度——你要做客服,就重点看“上下文对话”和“安全”;你要做代码助手,就盯“代码生成”和“逻辑推理”。

如果你是一名开发者或研究者,想了解当前中文大模型的技术水平和演进方向,SuperCLUE的月度报告和专项评测是很好的跟踪窗口。它的技术报告和Github项目都是公开的,你可以看到具体的题目设计和评分逻辑

如果你只是一名普通用户,想选一个用得顺手的AI工具,SuperCLUE的榜单至少能帮你避开“宣传大于实力”的坑

在AI这个“人人都在喊自己是第一”的赛道里,一个独立、透明、持续更新的第三方测评基准,可能是我们最需要的东西之一。 毕竟,没有标尺的竞赛,永远只是自说自话。