资深 AI 评测岗(大模型 / Agent)
小红书 · 北京市,上海市,杭州市 · 社招
AI 摘要智能生成
建设场景评测方案:理解业务 use case
职位描述
1、建设场景评测方案:理解业务 use case,将真实需求拆解为可执行的评测任务、评价标准和评测集,并持续维护与完善。 2、评估模型能力与边界:结合具体场景提出模型能力要求,设计评测方式,分析模型表现,判断问题主要来自模型能力还是应用链路。 3、推动评测驱动迭代:与模型、产品及业务团队协作,将评测结果转化为清晰的问题判断和改进方向,并跟进迭代效果。 4、沉淀评测方法:结合不同场景总结可复用的评测思路与标准,提升评测结论对模型选型和产品迭代的参考价值。 5、参与评测实践:评测集建设、测试执行与结果分析,提升评测工作的效率和可复现性。