高性能推理优化架构师（高级）(J10298)

AI 摘要智能生成

核心框架研发与性能优化

职位描述

核心框架研发与性能优化 1.1 主导大模型推理框架（包含 NVIDIA GPU 和昇腾 NPU）的设计与开发，优化推理性能（低延迟、高吞吐），包含算子优化、通信优化、分布式推理调度、Prefill/Decoding阶段解耦等技术方向。 1.2 探索模型压缩技术（如量化、剪枝、蒸馏），平衡模型精度与推理效率，推动技术落地。 1.3 构建端到端推理性能评估体系，设计自动化调优工具，提升优化效率。 团队管理与技术攻坚。 2.1 带领技术团队完成复杂模块开发，制定技术方案并推动落地，协调资源解决技术瓶颈。 2.2 建立代码规范与工程实践标准，主导技术文档编写与核心代码Review，培养团队成员技术能力。 跨领域协作与行业洞察 3.1 与产品团队紧密配合，理解业务需求并转化为技术方案，推动框架与业务场景深度适配。 3.2 跟踪LLM推理领域最新进展（如动态批处理、连续批处理、KV Cache优化等），探索技术突破点。

任职要求

• 基础能力
• 1 计算机/数学/电子信息相关专业硕士及以上学历，5年以上深度学习框架开发经验。
• 2 精通C++/Python，熟悉CUDA、多线程编程、分布式系统设计，具备复杂问题抽象与系统架构能力。
• 技术专项
• 1 深入理解Transformer架构及主流大模型（如GPT、Llama）推理特性，熟悉vLLM、TensorRT-LLM、TGI等框架源码。
• 2 具备算子优化实战经验（Kernel融合、内存复用），熟悉通信优化技术（流水线并行、AllReduce优化）。
• 3 掌握分布式推理调度策略（动态负载均衡、异构设备协同），有大规模集群优化经验者优先。
• 4 熟悉大模型推理常见的优化技术：动态批处理、KV-Cache 优化、投机采样、连续批处理（Continuous Batching）、量化推理、注意力机制优化；
• 软性要求
• 1 主导过至少2个大型项目全流程开发，具备从技术方案设计到生产部署的全链路把控能力。
• 2 擅长技术团队管理与跨部门协作，能够通过技术文档、案例复盘等方式推动团队能力提升。
• 3 具备高端卡及各种卡型上对主流模型进行推理服务优化的经验，主导过大规模推理服务集群上线。