慧实习
← 返回首页

AI Infra研发实习生-bilibili

AI Infra研发实习生 · 上海 · 实习

信息来源:哔哩哔哩官方招聘查看原始链接 ↗官方认证薪资面议
立即投递 ↗

AI 摘要智能生成

优化长序列 attention 与 MoE 算子

职位描述

细分子方向:音视频生成预训练infra、音视频生成后训练infra 1. 在 Megatron/FSDP 上为音视频 MoE DiT 调优并行策略(CP/EP/PP) 2. 优化长序列 attention 与 MoE 算子 3. 显存、通信、数据加载与 checkpoint 优化 4. 故障检测与快速恢复 1. 优化 DiT RL 框架:视频 rollout、reward 打分、训练三段的调度 2. 实现异步 rollout、共卡/分离部署、reward 服务化 3. 提升 SFT/蒸馏训练吞吐 4. 支持多 reward 模型接入 工作要求: · 任职要求 熟悉 PyTorch 分布式与 GPU 架构;C++/CUDA 或 Triton;理解 DP/TP/PP/CP/EP · 加分项 读过 Megatron/DeepSpeed 源码;NCCL/RDMA 通信优化经验 · 任职要求 熟悉 verl 等 RL 框架与异步 RL;PyTorch 分布式;工程能力强 · 加分项 推理框架(vLLM/SGLang/xDiT)经验;RL 系统开源贡献

任职要求

  • C++

同类岗位推荐