AI研究院-中级研究算法工程师-AI安全攻防方向(智能体安全攻击和靶场技术)
AI研究院 · · 校招
AI 摘要智能生成
智能体安全攻击技术研究
职位描述
1. 智能体安全攻击技术研究 跟踪国内外 AI Agent、LLM Security、Prompt Injection、Jailbreak、Tool Hijacking、RAG Poisoning、Memory Poisoning、MCP Security、多智能体攻防等方向的前沿研究,复现并转化为可评测、可回归、可产品化的安全测试能力。 2. 攻击方法库与样本库建设 建设面向智能体系统的攻击样本库和攻击方法库,覆盖单轮/多轮对话、间接提示注入、网页/文档/邮件注入、工具返回污染、长上下文隐藏指令、角色劫持、目标劫持、权限诱导、敏感数据探测等攻击类型。 3. 智能体安全靶场设计与开发 设计并实现可复用的 Agent 安全靶场,构建模拟业务系统、工具 API、MCP Server、RAG 知识库、长期记忆、文件系统、浏览器环境、代码执行环境、权限体系和审计链路,支持真实攻击链路演练与防护效果验证。 4. 自动化红队评测平台建设 构建自动化攻击生成、攻击编排、模型调用、工具调用追踪、结果判定、风险评分、报告生成和回归测试能力,降低人工红队成本,提升评测覆盖度、攻击效率和结果一致性。 5. 攻防闭环与防护验证 与防护技术团队协同,将攻击发现转化为防护需求、规则策略、训练样本、Benchmark 和回归用例,验证智能体安全网关、工具权限、记忆治理、运行时拦截、沙箱隔离等防护方案的实际效果。 6. 评测指标体系建设 建立智能体安全评测指标,包括攻击成功率、越权执行率、工具滥用率、敏感信息泄露率、目标劫持成功率、记忆污染持久性、知识库污染影响范围、多智能体传播风险、防护绕过率、误伤率和修复回归率。 7. 研究成果沉淀与对外影响力 输出攻击技术报告、风险分析报告、防御策略报告、靶场白皮书、专利、论文、竞赛方案、客户评测报告和行业标准建议,支撑安全品牌建设和商业化探索。