日常实习生-预训练模型架构与优化算法方向-Qwen基础模型

AI 摘要智能生成

模型架构探索：面向大语言模型及多模态模型预训练

职位描述

1. 模型架构探索：面向大语言模型及多模态模型预训练，开展 Attention、MoE、Embedding、Residual、多模态编码器等核心模块的设计与优化，探索动态计算、参数复用等方法，提升模型能力与训练、推理效率。 2. 优化算法与训练方法：研究优化器、初始化、参数化及训练策略，探索 Scaling Law 与超参数迁移规律，改善模型收敛效率，提升不同模型规模与训练预算下的效果。 3. 低精度训练与稳定性：研究 FP8/FP4 等低精度训练方法，分析激活值与梯度 outlier、loss spike 及数值误差，协同优化模型结构与训练算法，在保持模型效果的前提下提升训练效率与稳定性。 4. 实验验证与落地：开展从小规模消融到大规模预训练的实验验证，综合评估方案对模型效果、训练效率、稳定性及推理成本的影响，与训练及推理工程团队协作，推动有效方案在主线模型中落地。

任职要求

• 计算机、人工智能、数学等相关专业本科及以上在读，可实习六个月及以上。
• 扎实的数学、算法与深度学习基础，熟悉 Python、PyTorch，具备良好的代码实现、实验设计与结果分析能力。
• 对基础模型架构与训练算法研究有热情，能够主动发现问题、深入分析原因，具备严谨的实验习惯与良好的沟通协作能力。
• 加分项：
• （1）有基础模型团队实习或大模型预训练经验；
• （2）有模型架构、优化器、低精度训练、训练稳定性或 Scaling Law 等方向的研究与实践经验；
• （3）有相关顶会论文或高质量开源项目贡献。