dots-模型结构算法工程师
小红书 · 北京市，上海市，杭州市 · 社招
AI 摘要智能生成
我们是公司核心的 LLM 预训练团队
职位描述
关于团队 我们是公司核心的 LLM 预训练团队，负责下一代基座模型的架构设计与训练系统研发。 团队聚焦： - Scaling Law - 优化器与训练稳定性 - 长上下文与推理能力扩展 - 高效训练与推理 - MoE 与稀疏化架构 我们关注的不只是"把模型做大"。我们更关注：什么样的结构、优化与训练机制，能够让模型更高效地产生智能。 你将参与的方向 1. Scaling Law 与能力扩展 研究模型能力如何随着以下维度共同演化： - 参数规模 - 数据规模 - Token 数量 - Inference Compute - Context Length 你将参与设计大规模实验，并分析不同结构与训练策略下的 scaling behavior。 2. 新型模型结构探索 探索 Transformer 之后的结构优化方向，包括但不限于： - MoE - Hybrid Attention - Retrieval-enhanced Architecture 以及：长上下文建模 / KV Cache 优化 / 推理效率优化 / 稀疏化与动态计算 我们希望找到：真正影响模型能力边界的结构，而不是参数堆叠。 3. 优化器与训练系统 研究超大模型训练中的优化与稳定性问题，包括： - AdamW / Muon / Sophia / Shampoo 等优化器探索 - 混合精度训练 - 大 Batch 训练 - 大规模训练异常分析