AI评测产品实习生(通用Agent方向)
阿里巴巴 · 北京 · 实习
AI 摘要智能生成
评测体系建设:参与大语言模型及AI Agent应用的评估体系建设
职位描述
1. 评测体系建设:参与大语言模型及AI Agent应用的评估体系建设,协助完善评测标准、流程及评分器,构建评测数据集,整理参考答案及评分依据,参与结果标注与质量审核,支持评估结论及时准确产出。 2. 评测结果分析:使用评测平台执行任务,维护数据集与任务版本信息,整理模型及AI产品的输入输出、对话记录和Agent执行轨迹,完成基础数据查询、统计与版本对比,归类错误原因,参与评测分析报告撰写。 3. 评测流程优化:协助优化文本、对话及Agent任务数据的整理、标注和评测流程,维护操作说明与问题记录,与产品、运营、研发协作推进评测平台功能优化及数据看板建设。 4. 行业方案研究:调研并持续跟踪外部公开benchmark,以及大语言模型和Agent领域的新产品、新方法和评测进展,围绕指定业务场景筛选有价值的信息,整理评测维度、数据特点、适用场景及使用限制,输出简明调研报告。
任职要求
- 本科及以上在校生,计算机、数据科学、统计、数学、语言学等相关专业优先;对大语言模型、AI Agent应用和产品评测有高度兴趣,有对话、推理或Agent任务相关实践。
- 具备良好的业务理解、逻辑思维和数据分析能力,能够理解任务目标、核对回答依据并识别逻辑或执行问题。
- 熟练使用Excel及Codex/Claude/Hermes等主流AI Agent工具辅助完成数据整理、多表关联查询和聚合统计,并核验结果;具备SQL或Python基础者加分。
- 具备信息检索、资料阅读和书面表达能力,能够查阅中英文公开资料,筛选有效信息、标明来源并归纳要点,形成清晰的LLM调研或评测小结。
- 工作细致、责任心强,能够依据评测规则进行标注与结果核对,及时反馈疑难样本和规则歧义;具备良好的学习和沟通能力,能够在指导下完成任务。