AI研究算法工程师-机器人多模态交互方向（前瞻研究）(J14733)

AI 摘要智能生成

设计、构建、训练和优化面向机器人交互场景的端到端多模态大模型架构

职位描述

1. 设计、构建、训练和优化面向机器人交互场景的端到端多模态大模型架构； 2. 探索和实现模型对多模态输入（语音、文本、图像/视频、深度信息、传感器数据、环境上下文等）的深度融合与理解； 3. 研发模型生成多模态输出（语言语音、情绪、表情、移动、行为动作等）的能力，确保输出的一致性与自然性； 4. 重点攻克人机交互闭环中的关键问题：上下文记忆与理解、意图识别与澄清、个性化交互、情感感知与表达、长时程对话一致性、任务导向交互等； 5. 跟踪生成式AI和多模态交互技术前沿，推动人形机器人智能化。

任职要求

• 重点院校计算机、人工智能、信号处理、语音语言等相关专业硕士及以上；
• 扎实的机器学习/深度学习理论基础，了解主流多模大模型的基本原理和训练方法；
• 具备良好的编程能力，熟练掌握Python，熟悉TensorFlow、PyTorch等至少一种主流深度学习框架；
• 关注生成式AI和多模态交互技术，对推动人形机器人智能化有热情；
• 熟悉VLM/VLA/WAM/VLP/MLM等多模态任务建模，具备跨模态模型设计与训练经验；
• 理解多模态对齐（如cross-attention、token-level alignment）、条件生成、多模态融合机制；