大模型高性能推理研发工程师/专家

AI 摘要智能生成

端到端训练引擎建设

职位描述

1.端到端训练引擎建设： 参与开源大模型RL训练引擎Relax研发，突破 RLHF/DPO/GRPO/RLVR 等对齐技术的工程瓶颈，基于 Megatron/veRL 等框架优化分布式并行与动态协同，解决千卡规模下的显存与通信痛点。 2.推理框架与MaaS系统建设： 研发面向 LLM/MLLM/DiT 的高性能推理服务框架，主导 KV Router、PD 分离及请求动态调度能力建设，基于 vLLM、SGLang 等建设万亿级 Token 并行推理与服务高可用架构。 3.大模型加速算法落地： 探索并落地大语言模型及多模态模型的低比特量化（W8A8/W4A8等）、投机采样、CoT压缩、蒸馏、剪枝等算法，支持各业务大幅降低推理成本。 4.异构计算与底层优化： 主导基于国产异构计算芯片（昇腾 NPU 等）及主流 GPU 的软硬协同优化，负责 AI 框架适配、模型移植、关键算子开发与性能优化，实现高吞吐与低延迟的推理系统。 5.探索 Agentic AI Infra 研发范式： 将 AI 工具深度融入 Infra 开发链路，熟练运用 AI 编程工具进行架构探索、复杂 Debug 与重构，大幅提升 AI Infra 全栈工程的迭代效率。

任职要求

• 算法