Dots-大模型能力评测师

AI 摘要智能生成

从用户需求、专业工作和生活场景中识别现有模型的能力缺口

职位描述

1、发现有价值的能力问题。 从用户需求、专业工作和生活场景中识别现有模型的能力缺口，将模糊的“体验不好”拆解为可研究、可验证的具体问题。 2、设计原创复杂任务。 围绕真实约束、信息不完整、多轮沟通、多模态理解和长流程协作等情境，构建有明确目标、合理难度及能力区分度的任务，避免单纯依赖冷知识或文字陷阱。 3、建设独立黑盒评测集。 参与任务采集、研究、编写、试测和迭代，核验资料与答案依据，维护样本质量、独立性及保密边界。 4、制定可执行的评分标准。 编写任务说明、参考答案或解题要点、分维度评分细则及边界案例；对没有唯一答案的问题，明确可接受范围与关键判断依据。 5、开展专家评审与一致性校准。 深入比较模型表现，识别看似流畅但缺乏事实、推理或实际价值的回答；组织案例讨论，分析分歧，提高评价的可解释性与可复现性。 6、开展 Agent 轨迹分析与失败归因。 阅读多轮对话、任务计划、工具调用参数与返回结果、代码执行记录及环境反馈，重建任务过程，定位关键错误和传播路径；区分知识与推理不足、规划失误、工具使用不当、信息遗漏、验证缺失及环境异常，通过对照案例或任务复现验证归因，而非只按最终答案判断好坏。 7、将诊断转化为评测与改进建议。 与算法团队将典型失败沉淀为能力分类、难例、评分规则和回归任务，提出数据补充、任务设计或模型改进假设，跟踪后续版本是否真正修复问题，形成可验证的能力洞察。

任职要求

• 算法