跑分失灵：开源大模型评测进入深水区
2026年10月，开源大模型社区继续膨胀，仅Hugging Face平台上模型数量已突破百万大关，每周都有数十个新模型发布。然而，一个尴尬的现象浮出水面：主流跑分榜单上的分数逐渐趋同，许多模型在MMLU、HellaSwag等传统基准测试上得分仅差零点几个百分点，却在实际应用中表现迥异。开发者抱怨“跑分高不一定好用”，企业选型时更难以依赖单一指标做决策。行业开始反思：评测是否陷入了“刷榜内卷”？事实上，自2025年底以来，多个开源评测框架（如OpenCompass、HELM、TÜLU）已开始扩充评测维度，增加多轮对话、代码生成、工具调用、长上下文理解等更贴近真实场景的任务。但与此同时，如何设计合理的评测流程、避免数据污染、保证评测结果可复现，成为新的技术挑战。单纯依靠社区贡献的公共榜单已无法满足企业级需求，评测的“深度”需求悄然爆发。
从跑分到场景：评测体系重构催生新角色
面对传统跑分的失灵，越来越多的企业开始自建评测体系。例如，金融、医疗、法律等高合规行业要求模型不仅准确，还要可靠、可解释、能通过特定领域的对抗测试。一家头部云计算厂商的内部专家透露，他们正在构建面向客服场景的“对话压测”框架，包含上万条真实用户问题变形和负面测试用例。这类工作无法由通用算法工程师兼职完成，需要专门的人来设计评测方案、维护评测数据集、编写自动化评测流水线。于是，一个新的岗位——“评测架构师”悄然出现在招聘市场上。与传统的算法工程师不同，评测架构师的核心职责不是训练模型，而是系统性地评估模型。他们需要具备深厚的大模型理论基础，同时熟悉软件工程、数据分析和特定行业知识。2026年第三季度，脉脉、BOSS直聘等平台数据显示，“评测”相关岗位的发布量同比增长超过三成，其中六成以上要求具备开源模型评测经验。包括智源研究院、阿里云等机构在内，都专门设立了评测团队。
评测架构师：既要会造题，也要会读代码
具体而言，评测架构师的日常工作包括：第一，设计评估方案。根据业务需要选择或定制评测维度，如多模态理解、幻觉率、指令遵循能力等，并确定量化指标和人工评审标准。第二，构建对抗样本。利用模型本身的漏洞或知识盲区，生成具有挑战性的测试用例，例如将事实替换为混淆信息、插入长距离依赖等。第三，搭建评测流水线。将测试执行、结果采集、得分计算、报告生成流程自动化，确保每次升级都能快速得到反馈。第四，维护评测数据集。定期更新数据以避免测试集泄漏，同时清理噪声数据，保证评测的公平性。第五，分析模型偏见。通过对不同群体、不同场景的评测结果进行统计分析，发现模型在性别、种族或地域上的潜在歧视。这些工作对人才提出了复合型要求：既要有扎实的机器学习功底（能够理解模型内部机制），也要有软件工程能力（编写高效测试代码），还需要一定的数据洞察力。目前高校几乎没有对应专业，在职转岗成为主流。不少来自测试开发、NLP算法、数据分析等岗位的人才开始转型，但供给仍然远远不足。
人才市场风向：薪资增长与供给短缺
由于评测架构师稀缺，2026年的薪资水平水涨船高。据行业招聘平台统计，具备2-3年评测经验的工程师，年薪普遍高出同期算法工程师10%以上，部分头部企业甚至为资深评测架构师开出与核心技术负责人相当的薪酬。一家猎头公司负责人表示，今年大模型公司对评测人才的需求从“可选”变成了“刚需”，因为模型发布节奏加快，不做好评测就敢上线，风险极大。同时，开源社区的评测贡献也成为个人品牌的重要加分项，不少候选人凭借在OpenCompass或EvalAI上的高质量贡献获得面试青睐。然而，人才供给端仍显薄弱。国内高校开设的AI评测课程屈指可数，仅有少数高校在2026年秋试点“AI系统评测”选修课。行业普遍认为，未来一到两年内，专业评测人才将持续紧俏，企业应提前布局内部培养机制，而从业者则可将评测作为差异化竞争赛道。从跑分较量到能力解读，大模型评测的“深水区”才刚刚开始，而那个专门负责“出题”和“阅卷”的评测架构师，正在成为AI产业链上最不容忽视的角色。