大模型推理性能优化实习生

AI 摘要智能生成

我们正在寻找算法基础扎实

职位描述

我们正在寻找算法基础扎实、对系统性能有兴趣的同学，参与大模型推理在 GPU、TPU 及其他 AI 加速器上的性能优化。 你将围绕推理延迟、吞吐和资源利用率，从具体计算任务入手，逐步参与算子实现、计算融合、数据搬运、通信与计算重叠，以及执行调度等工作。 工作内容 1、分析大模型推理中的计算、访存、通信和同步开销，定位影响整体性能的瓶颈。 2、优化核心算子及融合计算，探索数据布局、分块、数据复用和 mega kernel 等实现方式。 3、优化数据搬运与通信，通过预取、缓冲、流水线和通信计算重叠，减少等待。 4、结合不同请求规模、上下文长度及 prefill／decode 阶段的特点，探索执行调度、批处理和多设备并行策略。 5、建立正确性与性能测试，通过对照实验验证优化效果，评估局部改动对端到端推理性能的影响。 6、学习并使用 CUDA、Triton、JAX／Pallas 等工具，参与 TPU、GPU 及其他加速器上的推理优化。

任职要求

• 本科、硕士或博士在校生，具备扎实的数据结构与算法基础。
• 熟悉 C／C++，能够独立完成算法实现、调试和边界处理；能够使用 Python 开展实验更佳。
• 能够阅读技术材料，理解陌生算法或机制，并将其转化为正确、可运行的代码。
• 具备定量分析意识，愿意从数据量、计算量、带宽、延迟和依赖关系出发分析性能。
• 能够提出假设、设计实验，并根据结果修正判断。
• 对计算机体系结构、并行计算、编译器或系统优化有兴趣。