大模型算法工程师(Safety&Ethos Expert 基模方向)-T&S
小红书 · 北京市,上海市,杭州市 · 社招
AI 摘要智能生成
负责 Safety&Ethos Expert 基模的研究与建设
职位描述
1. 负责 Safety&Ethos Expert 基模的研究与建设,围绕大模型及 Agent 的安全、价值观与行为准则,提升模型对风险的识别、理解、判断与稳健响应能力。 2. 负责模型安全与价值观对齐训练,探索预训练、SFT、偏好优化及强化学习等方法;建设高质量安全与价值观数据,推动安全能力融入模型训练与迭代。 3. 建设大模型及 Agent 安全评测体系与 Benchmark,覆盖风险识别、指令遵循、拒答与边界处理、价值观判断及复杂任务执行等场景;探索自动化攻防,形成“评测—分析—训练”闭环。 4. 探索模型安全能力的可解释性分析与风险监控方法,结合模型内部表征、输出行为及 Agent 执行过程,定位安全失效模式并推动治理策略迭代。 5. 推动安全数据、模型能力与 Agent 环境协同建设,跟踪模型与 Agent 演进带来的新型风险,探索面向未来风险的评估、对齐与应对机制。