百度公有云大模型训练加速实习生（J107176）

AI 摘要智能生成

负责多模态、文生视频等场景制定后训练行为对齐方案

职位描述

-负责多模态、文生视频等场景制定后训练行为对齐方案，选择并落地 SFT、DPO、RLHF、GRPO、知识蒸馏等方法，提升模型在目标场景中的效果、稳定性和泛化能力 -负责训练数据构建、清洗、配比和质量分析，持续优化训练策略、损失函数、超参数及评测体系 -负责大模型分布式训练加速，结合模型结构、硬件资源和训练规模，优化计算、显存、通信、数据加载和检查点保存等关键链路，提升训练吞吐、GPU 利用率和集群扩展效率，降低训练成本 -使用性能分析工具定位训练瓶颈，解决算子效率、通信拥塞、负载不均衡、显存碎片、数据流水线阻塞及多机训练稳定性等问题

任职要求

• 计算机、人工智能相关专业本科及以上学历，具备大模型训练、分布式系统或高性能计算相关经验
• 熟悉大模型后训练流程，理解 SFT、偏好学习、奖励模型、RLHF、DPO、GRPO和知识蒸馏等方法的基本原理及适用场景
• 具备实际后训练项目经验，能够独立完成数据方案、算法选型、训练调优、效果评测和问题分析
• 熟悉 PyTorch，能够使用 Transformers、DeepSpeed、Megatron-LM、FSDP 等训练框架中的一种或多种
• 加分项
• 有百亿参数模型、多模态模型、视频生成模型的大规模训练或后训练经验
• 有 MoE、长上下文训练、稀疏模型或大规模强化学习训练经验
• 熟悉偏好数据构造、奖励模型训练、在线强化学习、自动化评测及安全对齐方法