AI 评测平台 Leader

AI 摘要智能生成

面向 C 端 AI Agent 应用建设行业领先

职位描述

核心使命： 面向 C 端 AI Agent 应用建设行业领先的评测平台与评测驱动研发体系，将模型和应用的概率性效果转化为可衡量、可归因、可优化、可持续演进的工程闭环，让评测结论持续驱动模型、Agent 工程、关键 Tool 与产品体验提升。 1、负责评测体系设计，建设覆盖评测集、评测标准、Rubric、参考答案及必过/黄金/挑战分层的评测资产体系，明确业务场景的质量定义与准出口径。 2、建设自动化评测平台，打通数据集管理、任务编排、多模型/多配置运行、机评、人评、结果分析、问题下钻与回归验证，提升评测规模、效率和研发使用体验。 3、完善多层评测能力，建设面向用户最终体验的端到端评测，以及模型、关键 Tool、组件、Trace 过程和多配置消融等专项评测。 4、建立持续校准与资产回流机制，结合线上真实会话、人机一致性、需求迭代和行业变化，持续校准 Judge、评测集和评测标准，使离线评测长期贴近真实用户体感。 5、与产品、算法、工程和 QA 深度协作，将评测前置到需求设计和技术方案阶段，并推动评测结论进入模型后训练、Agent 架构和工程能力迭代。

任职要求

• 算法