language(共3条) - 推荐工具与资讯

"language" 的搜索结果

共找到5个结果(工具3个· 资讯2篇· 技能0个),已按相关性为你排序。

AI工具 (3)

CMMLU:权威中文大语言模型知识理解能力评测基准与67学科全覆盖测试集

121
CMMLU:权威中文大语言模型知识理解能力评测基准与67学科全覆盖测试集
AI Tools

CMMLU(Chinese Massive Multitask Language Understanding)是一个专门针对中文语境设计的大规模多任务语言理解评测基准,涵盖从初等到高等专业级别的67个学科主题,包含自然科学、社会科学、工程技术、人文学科以及具有中国文化特色的内容(如中国驾驶规则等)。测试集包含11,582道四选一选择题,每道题均提供四个选项且仅有一个正确答案,用于评估大语言模型在中文语境下的知识掌握程度和推理能力。

2026-05-30

MMLU:大语言模型多任务语言理解能力的国际权威评测基准

95
MMLU:大语言模型多任务语言理解能力的国际权威评测基准
AI Tools

MMLU(Massive Multitask Language Understanding)是由加州大学伯克利分校等机构联合发布的大规模多任务语言理解评测数据集,涵盖57个学科领域,包括人文科学、社会科学、自然科学、工程技术以及医学、法律、数学等专业领域,题目难度覆盖从初等知识到高阶专业知识。测试集包含约14,000道四选一选择题,用于评估大语言模型在零样本和少样本场景下的知识储备与推理能力,是目前全球引用率最高的大模型评测基准之一。

2026-05-31

HELM:斯坦福大学领衔的大语言模型全面评估框架与高影响力行业标准

89
HELM:斯坦福大学领衔的大语言模型全面评估框架与高影响力行业标准
AI Tools

HELM(Holistic Evaluation of Language Models)是由斯坦福大学基础模型研究中心CRFM发起的全面语言模型评估框架,旨在通过多维度、标准化、可复现的方式对大语言模型进行系统性评测。HELM覆盖核心场景(如问答、信息检索、摘要)与核心指标(如准确性、鲁棒性、公平性、偏见、毒性、效率),支持用户自定义评估管道,并提供公开可比的模型排行榜,累计评测模型数十款,被学术界和工业界广泛采纳为标准评估基准

2026-05-30

AI资讯 (2)