慧实习
← 返回首页

顶尖实习-大模型异构集群与存储系统研究员-MiMo-实习

顶尖实习 · · 实习

信息来源:小米顶尖实习查看原始链接 ↗官方认证薪资面议
立即投递 ↗

AI 摘要智能生成

我们的目标是使计算、通信与存储能力协同扩展

职位描述

我们在做什么 在MiMo,我们建设大模型训练与推理所需的异构集群,研发算力池化与调度、高性能通信和分布式存储系统。我们的目标是使计算、通信与存储能力协同扩展,为更大规模的预训练和后训练,以及推理时计算扩展提供高效、可靠的支撑,促进模型能力提升,加快研究迭代并降低训推成本。 工作职责 结合个人专长和兴趣,参与以下一个或多个方向的研究与开发: 1.异构算力池化与调度 面向国产GPU/NPU等多种卡型,构建统一的资源抽象与共享算力池,根据任务负载、显存需求和互联拓扑优化任务放置与资源复用。通过弹性调度与动态资源分配,充分调动可用算力,支撑异构强化学习(RL)中采样、训练与验证的协同扩展,以及推理时计算规模的增长。 2.高性能通信与互联 研发适配不同卡型的通信传输机制,针对分布式训练、异构集群推理、RL权重同步与数据采集的通信需求,设计网络拓扑与传输策略。优化RDMA数据通路、路由与拥塞控制,提高带宽利用率,减少跨节点通信等待。 3.高性能存储系统研发 设计并实现面向训练、推理与sandbox的高性能分布式存储系统,支撑训练数据、KV Cache、Checkpoint 及各类状态快照(snapshot)的存取、复用与恢复。研发存储引擎、分布式文件系统和对象存储,优化元数据管理、数据布局、分层存储与并行I/O,为训练与数据处理提供高带宽、强一致的共享存储,保障数据持久性与高可用。 4.集群架构与可靠性 与模型、框架和算子团队协作,依据实际负载统筹计算、网络与存储配置,评估新硬件与系统方案的扩展效率和成本。建立任务级观测、故障隔离与自动恢复机制,定位跨节点瓶颈,减少慢节点与局部故障造成的停顿和进度损失。

任职要求

  • 职位要求
  • 理解操作系统、计算机网络与分布式系统的基本原理,熟悉并发编程与Linux开发环境,能够使用C++、
  • Go、Rust 或Python中的至少一种语言完成系统开发与调试。
  • 在资源调度、高性能网络、分布式存储或集群性能分析的至少一个方向有深入实践或研究经历,能结合代码与
  • 实验解释关键机制和性能表现。
  • 能独立提出假设并设计可复现的实验,控制负载差异与测量误差,评估性能收益、资源开销及对可靠性的影响。
  • 能拆解问题、组织必要上下文,借助大模型与Agent开展研究、开发和排障;独立审查并验证生成代码的并发行为、资源使用与异常处理。
  • 对复杂系统保持好奇,愿意持续追查问题,主动推进实现与集成;沟通清晰,能与不同专业的同事明确需求、讨论取舍、协作解决问题,并对运行效果负责。
  • 加分项
  • 以下任一经历均可加分:
  • 解决过实际集群的性能或稳定性问题,能够提供量化的改进结果。
  • 参与过国产加速器接入、多卡型资源池或异构RL系统建设,处理过兼容性、资源分配或状态同步问题。
  • 参与系统开源项目的核心开发,或在系统研究、高性能计算竞赛中取得突出成果。

同类岗位推荐