大模型算法实习生（评测方向）

AI 摘要智能生成

建立科学、高效的大模型评测体系，帮助发现和分析模型问题，推动模型效果优化

职位描述

1、建立科学、高效的大模型评测体系，帮助发现和分析模型问题，推动模型效果优化； 2、协助优化评测框架，保证评测任务的可靠和公允； 3、在部分重点场景建设in-house评测集，探索在特定domain定义模型能力所需要的评测标准和方法； 4、探索从可解释性角度提出更多更深入的基于模型内在机理的评测标准，发掘模型pattern对能力的影响。

任职要求

• 本科及以上学历在读；
• 对模型评测和定义AGI充满兴趣；
• 愿意深入观察分析数据及trace，并能从中发现问题；
• 有大模型训练或模型评估研究经验，和相关论文优先。