Agent 评测 Leader(通用 Harness / 评测平台)
小红书 · 北京市,上海市,杭州市 · 社招
AI 摘要智能生成
团队负责通用 harness 评测
职位描述
团队负责通用 harness 评测、评测平台建设,并BP各 Agent 团队落地各 Agent 评测。 团队需要做好共性能力和平台,同时深入 Agent 团队,提供方案、推动落地,通过 QC 保证评测的科学性。 1. 负责通用 harness 评测。 围绕 memory、tools、automodel 等建设专项和端到端评测,控制模型、工具、记忆状态等影响因素,判断迭代对质量、成本、时延及各 Agent 场景的影响。 2. 建设好用的评测平台。 覆盖评测集、评分器管理、执行环境、批量跑分、版本对比、报告和诊断归因,让结果可追溯、可复现,方便各团队用于日常迭代。 3. BP Agent 团队,带着方案和平台落地。 深入真实用户场景,协同定义质量标准、建设评测集、选择评分方式,把评测接入迭代流程,并将共性需求沉淀到平台。 4. 做好 QC,保证评测科学性。 检查场景覆盖、评分标准、参考答案和评分器偏差,做好人评/机评校准、LLM-as-a-Judge 验证和抽检,识别数据泄漏、环境差异等问题,明确结论的适用范围。 5. 做好诊断归因和团队建设。 结合执行 Trace 和对照实验定位问题,推动改进并复测验证。搭建评测方法、平台工程和业务 BP 团队,明确与各 Agent 团队的分工。