大模型训推框架工程师(AI Infra)(J20609)

AI 摘要智能生成

负责大模型训练与推理框架的适配、集成及优化

职位描述

1. 负责大模型训练与推理框架的适配、集成及优化，完成模型接入、服务接口开发、运行镜像及部署配置，与平台团队协同实现容量测试、版本发布及回滚。 2. 负责基于 PyTorch 的分布式训练系统适配与优化，完善多机多卡训练、检查点保存与恢复、模型导出等能力，优化显存利用、数据处理、并行策略及通信效率。 3. 分析模型训练及推理过程中的计算、显存、缓存、请求调度和分布式通信瓶颈，开展框架、执行策略或算子优化，持续提高吞吐、降低时延及资源消耗。 4. 根据后训练业务需求，参与训练后端与采样推理引擎的集成及优化，开发权重同步、任务执行控制、策略版本管理及异常恢复等组件，提升强化学习训练效率与稳定性。 5. 与算法及平台工程师协作，验证模型运行正确性、数值一致性及性能表现，建立可复现的基准测试、性能回归及故障分析机制，持续完善系统稳定性和代码质量。

任职要求

• 计算机、软件工程、人工智能或相关专业本科及以上学历。
• 熟练掌握 Python，熟悉 PyTorch、Linux 及 GPU 计算基本原理，具备良好的系统开发、调试和复杂问题排查能力。
• 了解大模型训练与推理基本流程，熟悉模型服务化、容器化部署及基本性能测试方法，能够完成框架适配或运行系统的集成开发。
• 能够使用 PyTorch Profiler、Nsight 或其他性能分析工具定位计算、显存、通信及调度瓶颈，具有基准测试、对照实验及性能优化实践。
• 在以下至少一个方向具备深入的实际项目经验：
• 分布式训练方向：熟悉 PyTorch Distributed、NCCL 及常见分布式并行策略，深入实践 FSDP、DeepSpeed、Megatron 等至少一种训练方案，具备训练性能优化、故障排查或系统二次开发经验。
• 推理系统方向：熟悉 vLLM、SGLang、TensorRT-LLM 等至少一种推理引擎的核心机制，具备推理服务开发、源码级问题定位、框架二次开发或性能优化经验。
• 具备良好的工程实践能力，能够独立分析复杂问题、制定技术方案、验证优化收益，并与算法和平台团队协作完成项目交付。
• 优先条件
• 具备 C++、CUDA、Triton 或相关高性能计算开发经验，参与过框架底层、GPU Kernel 或分布式通信优化。
• 具备强化学习后训练系统实践经验，理解 Rollout 采样、训练推理协同、权重同步、策略版本管理及恢复机制；熟悉 verl、AReaL、slime 等框架者优先。
• 具备大模型量化、长上下文、MoE、多模态模型或异构算力适配与性能优化经验。
• 在 PyTorch、vLLM、SGLang、DeepSpeed、Megatron 等相关开源项目中有代码贡献，或有可验证的性能优化成果者优先。