研究型实习生-智能算法产品事业部-推荐系统Scaling Law实习生项目
阿里巴巴 · 北京 · 实习
AI 摘要智能生成
长期以来，推荐精排模型的提效主要依赖精细化的特征工程与小规模模型结构创新，可转正
职位描述
长期以来，推荐精排模型的提效主要依赖精细化的特征工程与小规模模型结构创新，大量推全方案基于业务深度洞悉下的特制化设计。随着模型水位不断上涨，这种迭代方式的边际收益逐渐下降。与此同时，当前GPU硬件算力突飞猛进，零碎化算子导致训练调度与通信的时间开销巨大，对算力的利用率极低。 LLM领域的Scaling Law已经证明，模型性能会随着训练数据量、模型参数量和计算算力的增长而稳步提升。然而当前ND精排模型的Dense网络参数量仅约0.05B，与LLM动辄数十至数百B的参数量差距悬殊，存在巨大的增长空间。此外，用户行为序列方面，虽然已初步验证万级序列端到端入图建模的有效性，但用户的终身行为序列可达10万级，当前建模远未充分利用这些长期兴趣信号。 具体职责： 1. 问题一：如何对10万级超长行为序列高效建模？ 需从三层面突破：数据工程解决10亿用户×10万行为的存储与信息密度；检索建模以候选商品为锚点多路检索相关子序列；压缩建模通过层次编码、Q-Former压缩、离在线解耦，在可控代价下保留长期兴趣。 2. 问题二：如何用LLM实现序列压缩并全链路复用？ 挑战包括：预训练任务设计（判别/自回归/Bottleneck）的保真与对齐取舍；离在线解耦融合机制；压缩表征向下游模型的高效迁移；10亿用户级缓存的存储更新。 3. 问题三：如何多约束下实现精排参数扩容？ 模型Dense从0.05B扩至1B+～7B面临：异构架构为不同特征域配独立投影；MoE/低秩分解控制FLOPs与RT；冷启热启策略保障训练稳定收敛；RT与GPU利用率约束下的实时Serving。 4. 问题四：如何突破GPU算力瓶颈支撑大模型训练？ 当前MFU不足5%，需Flash-Attention与算子融合消除碎片开销；动态负载均衡应对序列长尾分布；多卡高效并行压缩通信开销。目标MFU从5%跃升至40%+。 加入我们，您将获得： 1. 贴近工业实践的技术挑战，享有丰富的数据资源和强大的计算支持。 2. 深度参与研发团队内部研讨，与顶尖专家共同探讨前沿技术，合作发表国际顶级会议论文。 3. 一对一的行业专家指导，助力业界领先并具有巨大影响力的工作。 4. 可观的实习薪酬以及校招人才计划的绿色通道。