国家智能语音创新中心-大模型算法工程师-合肥(J14403)

AI 摘要智能生成

负责文本、图像、视频和音频的多模态表征学习、特征融合及联合建模

职位描述

1.负责文本、图像、视频和音频的多模态表征学习、特征融合及联合建模。 2.研究跨模态语义对齐算法，解决视觉、语音、文本及终端状态信息之间的表示差异。 3.研究基于交叉注意力、对比学习和共享表征空间的多模态特征融合方法。 4.负责视觉语言模型、音视频语言模型及全模态模型的算法设计、训练和效果优化。 5.研究图像及视频中的视觉指代、目标定位、区域语义理解和细粒度视觉问答算法。 6.研究视频时序建模算法，识别操作前后页面状态变化、界面跳转和动态响应过程。 7.研究音视频联合建模算法，提升模型对提示音、语音反馈、界面变化和设备状态的综合理解能力。 8.建设多模态结果断言模型，将测试意图、操作过程、状态变化和最终结果纳入统一模型进行判断。 9.研究多模态因果推理和状态转移建模，判断终端状态变化是否由指定操作触发。 10.研究复杂场景下的多模态异常识别算法，区分无响应、错误响应、状态异常和识别不确定等情况。 11.基于视觉检测、OCR和UI识别结果，研究界面结构编码、控件关系建模和页面语义图构建算法。 12.研究GUI Agent的状态表示、动作空间建模、策略生成和操作轨迹预测算法。 13.跟踪多模态大模型、GUI Agent、VLA、世界模型、模仿学习和强化学习等前沿方向，并完成算法复现与改进。

任职要求

• 算法