研究型实习生-半监督语音多模态大语言模型预训练范式研究

AI 摘要智能生成

语音大模型正从级联架构走向端到端统一建模

职位描述

语音大模型正从级联架构走向端到端统一建模，但与文本大模型不同，语音、声音、音乐等任务至今仍高度依赖标注数据。本项目以半监督预训练为核心范式，用海量无标注数据做自监督语言建模，再用少量标注数据完成下游对齐，让模型自动发掘语言与韵律情感、声音事件、音乐结构、视觉信号之间的内在关系。 研究方向（包括但不限于）： 1. 统一语音半监督预训练范式，验证语音理解与生成能力的 Scaling Law； 2. 副语言 Tokenizer 设计与语义-表现力联合建模，实现可控语音生成与零样本风格迁移； 3. 高精度声音理解，解除对自动标注链路的依赖，冲击 MMAU、MMAR 性能上限； 4. 音乐理解与生成，歌词与旋律的映射建模，语音与音乐的统一生成； 5. 图像-音频跨模态预训练，三模互为监督与细粒度音画时序对齐。

任职要求

• 计算机科学、人工智能、电子信息、机器学习等相关专业的博士在读；
• 机器学习与深度学习基础扎实，熟悉 Transformer 与自回归语言建模，了解掩码建模、对比学习等自监督范式；
• 具备出色的编程能力，熟练掌握 PyTorch 等深度学习框架和 Python，有大规模分布式训练经验者优先；
• 在语音、音频、音乐、多模态等一个或多个方向有研究或实践经验，对自监督语音表征、音频 Codec 与离散 Tokenizer 有基本认知；
• 在 NeurIPS、ICLR、ICML、ACL、EMNLP、CVPR、ACM MM、ICASSP、Interspeech 等顶级会议或期刊发表过论文，或在相关权威评测、竞赛中取得优异成绩者优先；
• 每周实习至少天，连续实习个月以上，可长期合作者优先。