大模型智能标注与评测算法工程师（J106467）

AI 摘要智能生成

负责大模型智能标注与智能评测平台的整体设计、研发和业务落地

职位描述

-负责大模型智能标注与智能评测平台的整体设计、研发和业务落地 -建设自动标注、弱监督标注、模型协同标注、主动学习和人工复核相结合的数据生产体系 -设计任务分类、内容分级、评测 Rubric 和质量标准，支持不同业务场景快速建立理想态 -研发 Judge Model、Reward Model 和评测 Agent，支持 Pointwise、Pairwise、GSB及细粒度维度评测 -建设评测校准机制，通过金标集、专家评审和一致性分析持续提升人机一致率及评测可信度 - 建设线上反馈驱动的自动迭代闭环，实现 Bad Case 发现、归因、数据生成、训练和回归评测 -识别位置偏差、长度偏好、自洽偏差和模型同源偏差，提升评测系统的稳定性与可解释性 -支撑模型选型、流量分配和收益衡量，为业务模型升级与上线决策提供依据

任职要求

• 计算机、人工智能、机器学习、统计学等相关专业本科及以上学历
• 熟练掌握 Python、PyTorch及主流大模型应用或训练框架
• 熟悉大模型评测方法，具备 Judge Model、Reward Model、Rubric 或评测集建设经验
• 熟悉数据工程和标注质量治理，能够设计可扩展、可追溯的数据生产链路
• 理解模型偏差、一致性、置信度校准和统计显著性等基本方法
• 具备良好的业务抽象能力，能够把产品目标转化为评测标准和技术指标
• 有医疗健康、智能标注、Agent、RLHF或大规模模型评测平台经验者优先

同岗多源比价

同一岗位在其他平台/渠道的报价与链接（去重归并：公司+岗位+城市）