一、开源模型泛滥，评测乱象催生新岗位
2026年第四季度，国内开源大模型社区迎来新一轮发布潮，仅11月就有超过30个参数规模在70亿以上的基座模型开源。然而，各家模型在官方公布的跑分数据上普遍“注水”——同一模型在不同评测集上的排名可能相差50%以上。部分团队通过过拟合公开测试集、选择性公开高分段结果等方式美化榜单。这种“跑分内卷”直接导致下游企业选型困难：技术团队无法仅凭Mmlu、HumanEval等传统指标判断模型实际业务表现。
由此，一个新兴职位——AI评测工程师迅速走俏。不同于传统的算法工程师，评测工程师需要构建覆盖代码生成、逻辑推理、多轮对话、长文本理解等业务场景的私有评测集，并设计可复现的自动化评测流程。据某招聘平台统计，2026年11月AI评测工程师岗位数环比增长210%，头部互联网与AI创业公司开出年薪60万-100万争夺有经验的候选人。
二、评测工程师的核心技能：从跑分到场景化验证
企业招聘时最看重的能力并非“会调模型”，而是“会测模型”。具体包括：
- 能独立设计对抗性测试用例（如注入逻辑陷阱、多轮遗忘测试）；
- 掌握轻量级微调与量化技术，以便在受限硬件上对比原版与压缩后模型差异；
- 熟悉Token计费策略，结合成本因素给出综合推荐——这正是Token批发业务火热带来的新维度。许多企业通过Ai中转站或token中转站批量采购大模型API，此时评测工程师需要对比不同模型在相同场景下的“最便宜的token”消耗量，而非只看accuracy。
事实上，评测工程师的产出直接影响企业的采购决策。某中型电商公司技术负责人透露，他们近一个月通过自建评测体系，淘汰了3个榜单表现优异但实际推理成本高、幻觉率高的开源模型，转而通过Ai API中转站接入成本更优的混合模型方案，整体API支出下降40%。
三、“Token代理”模式倒逼评测标准升级
随着Ai hub等平台推出多样化的Ai大模型代理服务，企业可以按需组合多个模型。但这也带来了新问题：不同代理商的定价模型、缓存策略、并发限制各不相同，单一跑分无法反映“谁在真实业务中最具性价比”。因此，评测工程师开始将“Token代理”性能纳入核心指标——包括首次推理延迟、Token缓存命中率、多模型路由准确性等。部分企业甚至要求评测工程师具备开发轻量级中间件的能力，以便将Ai渠道代理的响应质量量化打分。
一位猎头顾问表示：“我们最近帮一家自动驾驶公司招评测工程师，对方明确要求候选人理解Token批发机制，能对供应商的每秒Token吞吐量做压力测试。这类复合型人才非常稀缺，面试通过率不足5%。”
四、行业呼唤标准化评测生态
当前的人才紧缺背后是行业基础设施的缺失。虽然Ai hub等平台正尝试推出“可复现评测基准联盟”，但各企业私有数据、合规要求差异大，统一标准进展缓慢。多家企业呼吁建立开源评测工具链，并鼓励模型开发者在发布时附带场景化测试报告而非简单跑分。
可以预见，未来半年内AI评测工程师将继续处于人才市场风口。对于职业转型者而言，掌握大模型推理原理、熟悉主流评测框架、并能结合成本与业务逻辑给出综合建议，将成为进入这一赛道的关键竞争力。