【Dots】大模型评测算法工程师

AI 摘要智能生成

面向预训练、多模态、Agent

职位描述

1、建设端到端模型评测体系。 面向预训练、多模态、Agent、Coding 及应用与模型行为等方向，设计能力分层、任务协议、数据规范、指标体系与评测流程；建设统一、可扩展的评测框架，支持不同模型、任务和评测方法的接入与横向比较。 2、研究自动评分与验证算法。 研发基于规则、可执行验证器（Verifier）、模型裁判（LLM-as-a-Judge）及学习式评估器的评分方法，结合结果正确性、过程质量和任务约束进行多维度评价；通过人工校准、偏差分析和一致性检验，提高评分可靠性。 3、研究高区分度与泛化能力评测。 与能力评测师及各方向算法团队协作，开展任务生成、样本筛选、难度分层、数据去重及污染检测，建设独立测试集与持续回归集，研究评测覆盖度、区分度和跨场景泛化能力。 4、研发能力诊断与统计分析方法。 基于分层评测、置信区间、显著性检验、消融实验及轨迹分析，识别模型收益与回退，区分模型能力、采样策略、工具链和环境异常等因素的影响，形成可验证的归因结论。 5、打通评测与训练迭代链路。 对接训练实验与模型版本管理，建设自动评测、版本对比、回归检测和诊断报告流程；将评测发现转化为数据构建与训练优化建议，并持续验证离线指标与真实任务表现的一致性。 6、推动评测方法落地与执行链路完善。 与工程及基础设施团队协作，将多轮交互、工具调用、代码执行和长程 Agent 的评测需求转化为环境与执行规范，推动轨迹采集、实验复现及自动化评测能力建设，保障评测方案稳定运行。

任职要求

• 算法