LLM模型能力实习生

AI 摘要智能生成

研究与优化LLM的模型和数据评估方法

职位描述

1. 负责大语言模型（LLM）相关的数据研究工作，包括但不限于数据获取、清洗、筛选、规模化构建和生成高质量数据。 2. 研究与优化LLM的模型和数据评估方法，通过训练不同规模的大模型来评估和提升数据质量。 3. 深入探索LLM的data recipe，包括数据比例的优化和运维实验，以提升模型的整体表现。 4. 探索先进的数据集合成技术，为大语言模型提供高质量合成tokens。 1. 985高校本科或以上在读，专业为Math/CS/AI/ML/CV/NLP/Speech或相关STEM专业。 2. 具备大规模模型训练的相关经验，熟悉Megatron、Huggingface等主流框架。 3. 对数据质量有严格标准，能够对交付的数据进行细致评审与优化。 4. 具备扎实的数据结构与算法基础，熟练使用Python编程语言，熟悉PyTorch/CUDA编程；熟悉Spark、Ray等分布式计算框架。编程竞赛获奖者优先，e.g. ACM/NOI。 5. 责任心强，积极主动，具备良好的沟通能力和团队合作精神。

任职要求

• Python
• 算法
• NLP
• 沟通能力