研究型实习生-Agentic RL Infra工程师

AI 摘要智能生成

负责面向大模型 Agent 的强化学习基础设施建设

职位描述

负责面向大模型 Agent 的强化学习基础设施建设，支撑 Coding Agent、Research Agent 等复杂智能体的大规模训练和快速迭代。 1. 熟悉 slime、veRL 等框架，建设高性能、可扩展的 Agentic RL 训练系统； 2. 设计优化同步、异步架构，解决长尾 Rollout 优化 Colocate、训推分离或混合部署方案； 3. 支持 Claude Code 类黑盒 Agent 的 RL 训练，包括多轮模型调用、工具交互、轨迹采集与还原、Action Mask、Logprob 对齐； 4. 优化训推一致性和异步policy问题，建立 Policy Version 等机制，实践 R3、Staleness control、样本过滤等方案； 5. 建设训练端到推理端的 Policy 参数同步能力，包括权重转换、分发、重分片、版本管理及原子切换； 6. 定位并优化任务调度、资源利用率和训练稳定性问题。持续优化多机多卡训练的性能、稳定性、容错能力和可观测性。

任职要求

• 具备 slime、veRL、OpenRLHF、TRL 或其他成熟 LLM RL 框架的实际使用、二次开发或核心模块建设经验；
• 理解 PPO、GRPO、GSPO 等大模型强化学习算法，熟悉 On-policy、Off-policy、Importance Sampling 和 Policy Staleness 等概念；
• 深入理解同步与异步 RL 的执行原理，能够分析 Fully Async、Colocate 与训推分离在吞吐、通信和稳定性上的权衡；
• 熟悉 Agentic Rollout，理解多轮交互、工具调用、长轨迹、环境反馈及黑盒 Agent 的训练数据构造方法；
• 理解训练与推理一致性问题，熟悉 Policy 参数同步、版本控制以及 MoE Router 一致性等机制；
• 熟练掌握 Python 和 PyTorch，熟悉 Megatron-LM、FSDP、Ray 等分布式训练或调度技术中的一种或多种；
• 具备良好的系统设计、性能分析和复杂问题排查能力。
• 熟悉 SGLang、vLLM、TensorRT-LLM 等推理引擎；
• 有 Coding Agent、Search Agent 或其他长链路 Agent 的 RL 训练经验；
• 有 MoE、R
• 异步 RL Staleness Control 或大规模 Policy Weight Sync 的实践经验；
• 有大规模 GPU 集群、RDMA/NCCL 通信、任务调度或生产级 RL 平台建设经验。