【星火X计划-实习】面向自主持续学习的基础大模型训练技术研究(J14620)

AI 摘要智能生成

你将研究从奖励建模、可验证强化学习、策略优化

职位描述

我们认为未来的通用大模型不仅需要根据人类提供的数据和奖励进行训练，还需要能够主动探索环境、发现知识与技能缺口、从交互反馈中持续学习，并逐步形成自我改进和自主进化能力。 本课题围绕Reasoning RL、Agentic RL、自主持续学习与递归式自我改进等关键技术方向开展研究，探索从离线训练、在线强化学习、环境交互学习到模型自主生成目标、自主构造训练数据、自主验证和持续更新的完整技术体系，构建具备深度推理、复杂决策、长期探索和持续自我提升的下一代大模型。 你将研究从奖励建模、可验证强化学习、策略优化、过程监督，到智能体环境交互、在线学习的完整技术验证；构建面向推理、代码、工具使用和开放环境任务的强化学习基础设施与评测体系，探索通向自主持续学习和递归式自我改进的技术路径。 1、Agentic RL与长时程Credit Assignment：面向代码智能体、复杂工具调用智能体，任务通常包含数百至数千步环境交互，且反馈稀疏、延迟并带有较强噪声。需要研究层次化策略学习、轨迹级与步骤级价值估计、反事实信用分配、失败恢复和探索策略，使模型能够从长程交互轨迹中有效学习规划、推理、工具选择和环境操作能力； 2、开放环境中的探索与自主学习：自主智能模型需要主动发现未知问题、识别能力短板并生成具有适当难度的训练任务。需要探索模型的能力边界探测、开放式探索、内在奖励和自博弈机制，形成“发现问题—尝试解决—验证结果—更新能力”的自主学习循环； 3、递归式自我改进的稳定性与可控性：模型自主改进可能带来能力快速增长，也可能产生目标漂移、评估失效和累积性错误。需要探索模型生成训练数据、改进算法、优化智能体框架乃至辅助研究流程的技术路径，建立稳定、可解释和可控制的实验范式。 1、突破大模型推理与决策能力上限：建立面向数学、代码、科学推理和复杂开放问题的通用强化学习方法，使模型从模仿已有答案迈向主动搜索、验证和发现更优解决方案； 2、推动智能体从任务执行走向环境学习：使智能体能够在复杂软件工程、深度研究、数据分析和企业工作流中，根据真实执行反馈持续优化策略； 3、建立模型自主持续学习能力：构建模型发现能力缺口、自主生成任务、自主采集反馈、自主验证结果并持续更新的技术闭环，使模型能够适应不断变化的知识、工具和环境； 4、探索下一代模型自我进化路径：系统研究从强化学习、在线学习、自博弈和自动课程学习到递归式自我改进的关键技术，为具有持续成长能力的下一代大模型提供理论、算法和系统基础。

任职要求

• 算法
• 数据分析