研究型实习生 - 多模态模型大规模训练

AI 摘要智能生成

参与包括多模态基模型Pretrain、SFT等多个阶段的训练任务优化

职位描述

1.参与包括多模态基模型Pretrain、SFT等多个阶段的训练任务优化； 2.致力于提升不同阶段模型训练负载的极限吞吐，能够针对不同模型负载系统化的分析不同阶段耗时并提供相应的优化手段，优化手段包括但不局限于算子优化、通信优化、分布式策略优化等； 3.参与训练框架对于不同硬件的支持和优化。

任职要求

• 计算机相关专业博士或硕士，在MLSYS领域发表过相关顶会文章者优先；
• 扎实的工程能力，优良的编程风格，熟悉Python/C++语言和常用设计模式，具备复杂系统的设计开发调试能力；
• 熟悉深度学习的基础理论概念，熟悉Transformer架构，熟悉主流大语言模型、多模态模型等模型特点；
• 熟练PyTorch等领域常用框架，掌握Megatron、DeepSpeed、JAX等不同训练框架的各自特点和细节；
• 优良的沟通表达能力、团队合作意识和经验；具备快速学习的能力，以及深入钻研技术问题的耐心；
• 熟悉计算机体系结构基础知识，有扎实异构计算优化(GPGPU/x86/ARM等)、高性能网络架构通信优化、分布式训练策略优化等方面的经验。