慧实习
← 返回首页

顶尖实习-大模型训练与推理 Infra 工程师-MiMo-实习

顶尖实习 · · 实习

信息来源:小米顶尖实习查看原始链接 ↗官方认证薪资面议
立即投递 ↗

AI 摘要智能生成

我们相信 scaling,训练

职位描述

我们在做什么 算力已经成为智能的瓶颈。你的工作,就是把算力转化成更强的智能。 在小米 MiMo,我们致力于构建通用智能的基础模型。我们相信 scaling,训练,推理与强化学习算力的持续扩展,将推动模型能力走向新的边界。我们希望通过模型、系统与硬件的深度协同设计,让每一份算力产生更大的价值,让新的研究想法能够被验证,让更强的智能能够被规模化使用。 在这里,你可以从自己擅长或感兴趣的方向切入,围绕核心问题跨越框架、算子、通信、编译器和硬件的边界。你的工作也可以深入模型设计,共同探索更高效、更适合 scaling 的模型结构。我们希望与你一起定义问题、提出想法,并将它们推进到真实模型与大规模系统中。 工作职责 你将结合个人专长与团队目标,深入参与以下一个或多个方向,并有机会承担跨方向的完整问题: 1. 训练与推理框架。 设计、开发与优化大模型训练和推理系统,覆盖预训练、后训练、强化学习、多模态及长上下文等场景;深入 Megatron、SGLang、vLLM 等框架,支持新模型、新算法的快速验证与规模化运行。 2. 国产 GPU 与异构 RL系统。 探索覆盖多种国产 GPU 的异构 RL 训练与推理系统,优化采样、训练与验证的协同执行,支持强化学习的规模扩展。支撑更大规模的轨迹生成、探索与验证,为强化学习提供更多高质量数据,并通过推理时计算的持续扩展,不断提升模型的智能上限。 3. 分布式并行与通信。 设计和优化 TP、PP、DP、EP、CP 等并行策略,解决 MoE、长上下文和大规模集群中的通信与负载均衡问题;探索拓扑感知、计算与通信重叠等技术,持续提升规模扩展后的有效算力与资源利用率。 4. 高性能算子与编译优化。 开发和优化 GEMM、Attention、量化及低精度训练与推理等关键算子;深入指令、访存和执行模型,推进算子融合、流水线调度及编译优化,在保证正确性的基础上充分发挥硬件能力。 5. 模型与系统协同设计。 与模型研究员共同参与模型结构和算法设计,研究 Attention、MoE、稀疏性、低精度等选择对能力与系统效率的影响;探索在给定训练和推理预算下获得更强能力、并能在更大规模上持续取得收益的模型结构。

任职要求

  • 我们期待怎样的你
  • 具备扎实的计算机基础,理解算法、体系结构、操作系统、网络或分布式系统的核心原理,愿意深入复杂系统的底层细节。
  • 善于使用大模型与 Agent 推进研究和工程工作。 能够拆解复杂问题、组织有效上下文、提供合适的工具与验证环境,与 Agent 协作完成方案设计、代码实现、调试和实验。
  • 具备扎实的工程能力与技术判断力,能够理解、审查和验证模型生成的代码,通过实验与性能数据评估方案,对最终结果的正确性、效率和可维护性负责。
  • 对模型能力与系统效率有持续的好奇心,能够独立思考、主动定义问题,并与研究员和工程师紧密协作,将想法推进到可验证的结果。
  • 加分项
  • 有大模型预训练、后训练、RL 或推理系统的实际研发经验,深入理解 Megatron、SGLang、vLLM 等项目。
  • 有 CUDA、HIP/ROCm、Triton、TileLang 或国产硬件工具链的开发经验,熟悉 GPU/AI 加速器的执行模型与存储层级。
  • 有集合通信、RDMA、并行系统或大规模集群性能优化经验。
  • 有高质量开源贡献、独立项目、相关研究或竞赛成果,能够体现你的技术深度、判断力与动手能力。
  • 加入 MiMo
  • 如果你希望亲手推动模型能力的突破,愿意把一个问题从模型结构追到系统实现、再追到硬件执行,我们期待与你一起工作。在 MiMo,你可以从自己的专长和兴趣出发,参与最核心的模型与系统研发,一起把更多算力转化成更强的智能。

同类岗位推荐