跑分虚火：开源大模型评测急需厘清
2026年10月以来，开源大模型进入密集发布期，几乎每周都有新模型上线。然而，伴随而来的却是评测跑分的“虚火”——同一模型在不同榜单上排名差异悬殊，部分模型甚至在特定数据集上过度拟合，导致“刷分”现象频发。一位参与过多项评测的算法工程师向媒体坦言：“现在的跑分更像一场营销游戏，很多企业只看排行榜Top1，却不知道那个模型在真实业务场景中可能表现极差。”这种混乱令AI应用企业深感困惑：究竟该信任哪个榜单？如何科学对比模型能力？
与此同时，模型部署的Token成本也因评测方式不同而被严重低估。部分评测仅关注单轮准确率，忽略了多轮对话、长上下文等场景下的推理开销。这使得企业采购模型时盲目追求“最便宜的token”，却忽视了实际使用中的隐性浪费。评测领域的标准化需求迫在眉睫。
新岗位涌现：能力对比专家成企业刚需
为了应对上述困境，从2026年第三季度开始，多家头部AI应用公司及云服务商开始设置“大模型能力对比专家”这一专职岗位。不同于传统的算法岗或评测工程师，该岗位的核心职责是：
- 设计面向业务场景的定制化评测框架，而非照搬通用榜单；
- 对市面上主流开源模型进行多维度能力对比，包括推理速度、多轮一致性、指令遵循度等；
- 结合Token消耗、API调用成本（如通过Ai API中转站或token批发服务获取的价格）进行性价比分析；
- 定期输出“模型红黑榜”，辅助研发团队优选模型。
据某AI基础设施公司招聘负责人透露：“我们之前招的是普通算法工程师来做模型测评，结果他们更关注刷分而不是实际落地。现在我们需要专职人员，既能读懂论文里的方法细节，又能把模型拉到生产环境里跑一遍，还要懂token经济模型。”一些企业甚至将“能力对比专家”列为战略级岗位，薪资水平对标高级算法研究员。
复合技能要求：代码、成本与生态视角
对这一新兴岗位的技能要求，招聘信息中已出现显著特点。除了必须精通Python、PyTorch以及主流模型推理框架（如vLLM、TGI）之外，企业越来越看重候选人对“模型经济”的理解。例如，需要熟悉不同的API交付模式——无论是直接对接模型提供方，还是通过Ai hub或Ai渠道代理进行模型调用，都要能精准评估实际推理成本。一位求职者分享了自己的面试经历：“面试官让我比较两个同等规模的7B模型，不仅要求给出准确率，还要计算它们在同一批请求下，通过token中转站调用时的总Token消耗，以及是否支持动态批处理。”这反映出能力对比正在从单纯算分转向“算力+算账”的综合评估。
此外，由于开源模型社区迭代极快，该岗位还需具备持续追踪最新模型变体的能力。比如，能够识别某个模型是否依赖了特定硬件优化（如FlashAttention v3），或者是否在评测数据中混入了训练集，从而避免被“刷分”欺骗。这种“去伪存真”的硬核能力，正是当前人才市场上的稀缺资源。
市场供需失衡：人才储备短期难补齐
尽管需求高涨，但符合条件的能力对比专家目前仍属小众群体。一位猎头表示：“能同时驾驭模型评测、系统调优和成本建模的人才，全行业可能不超过一千人。很多候选人来自大模型初创公司的评测团队，或者云厂商的模型测试部门。”高校培养体系中尚无专门课程，人才多依赖内部转岗或自学。
为应对缺口，部分企业开始通过Ai大模型代理合作伙伴进行模型筛选外包，或购买第三方托管的评测服务。但更多企业认为，内部必须掌握自主评测能力，才能在长周期中持续优化模型选型。可以预见，2027年这一岗位的招聘量将随开源模型生态的进一步繁荣而翻倍。
值得注意的是，能力对比专家的工作正从“技术岗”向“决策参谋岗”延伸。一些企业要求该岗位直接参与AI中台采购决策，对比不同供应商的token批发报价，甚至需要评估通过Ai API中转站接入模型的可靠性与延迟。这种融合技术、成本与商务的复合角色，正在重新定义AI时代的“评测人才”。