AI办公产品-评测方向
AI办公产品 · 上海市,杭州市 · 社招
AI 摘要智能生成
评测体系规划:负责 AI办公产品的评测路线图
职位描述
1. 评测体系规划:负责 AI办公产品的评测路线图、指标体系与验收标准,建立离线评测到线上验证的完整机制,支持产品迭代决策。 2. 真实任务评测集建设:深入数据分析、知识问答、内容创作等办公domain,构建覆盖不同复杂度的评测案例,明确任务背景、工具环境、业务约束与交付标准。 3. 评测方法设计:围绕任务完成度、交付质量、效率和稳定性,结合规则、代码、模型裁判与人工评审制定评测方案,确保结果可信且贴近用户体验。 4. 问题归因与效果优化:结合评测结果、执行轨迹和用户反馈定位关键短板,明确优化优先级,协同研发改进并验证收益。 5. 评测能力产品化:推动评测集管理、自动评分、结果分析与版本对比等工具建设,将评测融入研发流程,持续引入并验证前沿评测方法。
任职要求
- 数据分析