27届Stepstar-大模型推理优化系统工程师

AI 摘要智能生成

参与分布式大模型推理框架的开发与优化，提升推理性能与吞吐量

职位描述

1. 参与分布式大模型推理框架的开发与优化，提升推理性能与吞吐量； 2. 针对不同场景的LLM请求特点，优化GPU计算流程，打造业内领先的高效LLM推理引擎； 3. 调研并引入前沿机器学习系统技术，推动系统架构的持续优化升级； 4. 与算法团队深度合作，探索算法-系统协同优化方案，提升整体推理效率。 1. 国内外计算机、电子、自动化、软件等相关专业的优秀应届毕业生； 2. 具备操作系统、计算机体系结构等基础知识，对底层性能优化有浓厚兴趣； 3. 熟悉SGLang、vLLM、Megatron等框架，有开源项目贡献或相关经验者优先； 4. 熟悉CUDA编程和GPU上性能优化，有Triton、CUTLASS等开发经验者优先； 5. 具备良好的沟通能力和团队协作精神。

任职要求

• 算法
• 机器学习
• 沟通能力