大模型自动评测运营（文娱方向） - AI数据与安全

AI 摘要智能生成

团队介绍：AI 数据与安全团队为 Seed 基座

职位描述

团队介绍：AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。 团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决 AI 前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和 AI 产品的一手用户。 1、围绕角色扮演、剧情演绎等娱乐AI核心场景，搭建可复用的自动化评估工作流，优化评估题库与流程，打通自动评估、人工评估与线上模型迭代的衔接； 2、建设评测数据资产：从产品真实对话与人工标注中挖掘具有区分度的评测样本与负面案例，构建并维护评测集、回归集与边界案例库，设计人工评估规范与打分标准，校准自动评估结果与人类判断的一致性； 3、搭建评估结果自动分析与推送机制：自动分析评估数据、生成多维度评估报告，定期定向推送重点结论与典型负面案例，为模型优化与产品迭代提供依据。

任职要求

• 2027届获得本科及以上学历，计算机、软件工程、统计、人工智能等理工科背景，以及心理学、汉语言、传媒等跨学科背景；
• 具备技术实践能力，均欢迎投递；具备良好的代码能力，能独立编写脚本处理数据、调用大模型API、搭建评估Pipeline；熟悉SQL数据查询与聚合；
• 熟悉SFT/RM/RLHF等大模型训练范式，理解各阶段的评估方法与常用指标；
• 具备Prompt Engineering能力，能独立设计Prompt策略与工作流；
• 做事靠谱，有较强的自驱力和学习能力，能在模糊需求下拆解问题并推进落地。
• 加分项
• 对AI陪伴类产品有热情（如猫箱、星野、Character.AI等），对AI对话内容质量有敏锐感知；
• 熟悉二次元、乙女游戏、网文、剧本杀等文娱内容，能够判断角色塑造与剧情节奏的优劣；
• 有自动化评测相关实习或项目经验，了解LLM-as-Judge等自动评估方法及其局限。