Open LLM Leaderboard是Hugging Face推出的开源大语言模型排行榜,基于多个公开评测基准对开源模型进行自动化打分并排序,结果随模型提交持续更新,适合开发者比较开源模型性能。
MMLU是一个多任务语言理解评测基准,题目覆盖数学、历史、法律、医学等五十七个学科领域,以选择题形式衡量模型的知识广度,被广泛用于大模型能力评估,适合研究者参考各模型得分。
SuperCLUE是CLUE社区发布的中文通用大模型综合性测评基准,包含基础能力与专业能力等多个基准维度,按月更新测评结果并形成排行榜,适合关注中文大模型水平变化的用户查阅。
H2O EvalGPT是H2O.ai推出的大语言模型评测平台,基于对战结果计算Elo评分形成排行榜,并支持模型输出结果的对比查看,适合关注开源与闭源模型能力差异的用户查阅参考。
PubMedQA是一个面向生物医学问答研究的评测数据集,问题来源于PubMed摘要,标注为是否或可能三类答案,包含专家标注、无标注与人工生成三部分,适合研究者评估模型在医学问答上的表现。
FlagEval是北京智源人工智能研究院推出的大模型评测平台,面向语言与多模态模型提供能力评测,并以榜单形式呈现评测结果,适合关注国内外大模型表现的研究者与行业人员参考。
LLMEval3是复旦大学自然语言处理实验室开展的大语言模型综合评测,围绕学科知识与语言能力等维度设计题目,问题规模超过二十二万,覆盖十余个学科领域,适合研究者了解中文模型的评测结果。
C-Eval是一个中文基础模型评测基准,题目形式为多项选择题,覆盖科学工程、社会科学、人文科学等领域的五十余个学科,用于评估模型的中文知识与推理能力,其榜单已停止维护,测试集公开可查。
OpenCompass是上海人工智能实验室推出的评测平台,以司南为体系提供大模型与多模态模型的评测服务,发布官方月度榜单并汇聚社区评测集,适合研究者与开发者查询模型评测结果。
CMMLU是一个中文多任务语言理解评测基准,题目覆盖自然科学、社会科学、人文艺术等六十七个学科领域,用于衡量模型在中文知识问答上的水平,适合研究者比较不同模型的中文能力。
HELM是斯坦福大学基础模型研究中心推出的大模型整体评测框架,从准确性、鲁棒性、公平性等多个维度对语言模型进行系统测量,评测结果公开可查,适合研究者全面比较模型能力。
MMBench是一个多模态大模型评测基准,围绕感知与推理等能力设计选择题型的评测集,支持对图像理解模型进行量化比较,其在线评测与排行榜服务已停止运营,相关数据可供研究参考。
Chatbot Arena是一个大语言模型对战评测平台,由LMSYS与加州大学伯克利分校相关团队运营,用户匿名对比两个模型的回答并投票,平台依据投票计算Elo排名,适合想了解各模型表现的用户参考。