大模型推理系统开发实习生-基模

AI 摘要智能生成

与算法团队深度合作

职位描述

1、负责公司各AI推理场景（LLM/多模态/视频等）的推理系统研发和性能优化、资源调度、可观测性搭建、日常维护等工作 2、与算法团队深度合作，进行算法与系统的联合设计与优化（如模型量化、kvcache量化、投机采样等） 3、保持关注行业前沿技术，且有能力和热情开展创新研究 - 深入研究过至少一种推理框架（vllm/sglang等）的底层架构和原理，理解page attention等相关核心技术 - 理解GPU硬件架构，深入理解GPU软件栈，具备GPU性能分析和开发的经验 - 完整参与过模型压缩、量化后的精度对齐和上线流程 - 有LLM/推荐广告/搜索等在线和离线推理系统架构经验 - 有硕士/博士阶段的计算机系统方向研究背景，或在国际顶级系统会议上（OSDI/SOSP/SIGCOMM/ASPLOS/NSDI等）发表过论文者优先

任职要求

• 计算机、软件工程、人工智能等相关专业在读硕士/博士
• 熟练掌握Linux环境下的C/C++与Python语言
• 精通以下至少一项的背景知识或经验：推理引擎和框架、GPU资源调度、高性能计算与通信、GPU监控和性能分析、模型量化、编译优化等
• 具有独立解决问题的能力，良好的团队合作精神
• 有强烈的工作责任心，较好的学习能力、沟通能力和自驱精神
• 有良好的文档习惯，及时按要求撰写更新工作流程及技术文档