LLM Evaluation算法实习生-基模

AI 摘要智能生成

对大语言模型评估结果做深入数据分析

职位描述

1. 对大语言模型评估结果做深入数据分析，理解不同评估指标与用户体验、需求之间的关联，对模型训练迭代提供指导意见 2. 研发可靠的大语言模型评估管线，制定针对角色扮演、创意写作等能力的自动或人工评测准则与方法，构建对应的评测数据集 3. 紧扣偏好对齐目标，分析和清洗奖励模型数据，研发不易被reward hack、偏好有深度的奖励模型 1. 在ACM/ICPC，NOI/IOI，TopCoder等编程大赛上有获奖 2. 在模型评估方向有NeurIPS/ICML/ACL/EMNLP顶级论文发表，积极追踪大模型方向前沿进展和应用 3. 参与过有影响力的LLM应用项目，有交互界面设计、数据标注相关经历 4. 具备良好的文学素养，对游戏、影视、小说等人文和娱乐内容有浓厚兴趣

任职要求

• 计算机科学、人工智能或相关领域的在读硕士或博士
• 对大语言模型评测体系有较深入的理解，并能构建评估方法以改进模型性能，掌握LLM as Judge技术
• 对大语言模型的工作原理有较深入的理解，熟悉BT reward model训练和SFT训练，熟悉RL训练更佳
• 有良好的中英文阅读和鉴赏能力，有良好的沟通合作能力