大模型训推优化实习生-2027届

AI 摘要智能生成

大模型推理优化和计算框架的设计和开发工作，提升大模型推理效率

职位描述

1、大模型推理优化和计算框架的设计和开发工作，提升大模型推理效率； 2、通过量化、并行计算、访存优化等方法，支持单卡、多卡、多机情况下模型推理时延和吞吐效率的提升； 3、进行模型性能分析和调优，识别和解决瓶颈问题，提升模型的推理速度； 4、实施并维护自动化工具和流程，简化模型推理部署过程； 5、跟踪最新的研究进展和技术趋势，提出改进和创新的想法，推动团队技术发展。

任职要求

• 计算机、数学相关专业本科及以上学历；
• 熟练掌握C++/Python等编程语言，在模型训练和推理方面有丰富的编程和优化经验；
• 熟悉常见的机器学习/训推框架，如Pytorch、HF、vLLM、SGLang等。
• 具有大模型推理优化或深度学习推理优化经验者优先，参与推理框架社区者优先；
• 具备时新学术论文阅读以及实验能力者优先；