平台产品规范负责人
美团 · 北京市 · 社招
AI 摘要智能生成
评测体系建设：面向用户交互场景，设计覆盖搜索
职位描述
1.评测体系建设：面向用户交互场景，设计覆盖搜索、推荐、频道、模型输出结果、优化过程等场景的体验标准和评测框架，保障评测标准对产品迭代有效性，评测结果可解释可复现，并主导Benchmark数据集构建与持续迭代，防控数据污染与评测失效； 2.搭建自动化评测工程：通过judge model等自动评测流水线，设计多评委协作机制，控制评测偏见，持续提升自动评测与人工标注的一致性，实现自动化评测； 3.数据生产与质量管控：主导评测/训练数据合成方案设计，建立标注规范与质检体系，同时与数据团队协作，保障大规模数据生产的稳定性与准确性； 4.评测结果易用性迭代：面向美团用户场景产运研执行与管理者，设计与数据报表、实验系统灵活打通的方式，全面提升产运研经营与迭代效率。