顶尖实习-大模型推理加速研究员-AI平台

AI 摘要智能生成

参与和负责开源vllm/sglang推理引擎核心功能开发

职位描述

1. 参与和负责开源vllm/sglang推理引擎核心功能开发 2. 负责大语言模型线上推理框架的性能优化，解决高并发、低延迟、高可靠性等核心问题，提升服务吞吐量与稳定性 3. 调研并引入前沿技术，包括模型量化、蒸馏等轻量化开发

任职要求

• 学历背景 ：计算机/电子/数学等相关专业硕士及以上学历
• 编程能力 ：精通C/C++，熟悉Python，具备扎实的数据结构与算法基础，ACM/ICPC、NOI等竞赛获奖者优先
• GPU与CUDA ：熟悉NVIDIA GPU架构及编程模型，掌握CUDA核函数优化、显存管理、多流并发等技术，有实际性能调优经验
• 框架与工具 ：熟悉PyTorch、Megatron、vLLM/SGLang等深度学习训练和推理框架优先