推理引擎工程师(J14427)

AI 摘要智能生成

负责模型推理引擎的设计与研发

职位描述

1、负责模型推理引擎的设计与研发，将算法团队交付的 Python 模型代码与模型权重（深度学习模型、小尺寸大语言模型）工程化封装为高性能 C++ 推理库与服务，支撑端云多场景部署与产品集成； 2、负责模型转换、算子适配与推理性能优化（量化压缩、计算图优化、显存管理、批处理调度），保障工程实现与算法原型的精度对齐，达成时延、吞吐、成本目标，跟进问题闭环； 3、参与面向 30B 级 MoE 大语言模型与多模态模型的下一代推理引擎预研（专家并行、KV Cache 管理、投机解码、多模态编码器融合等），应用 AI 工具赋能研发，提升工程效能。

任职要求

• Python
• C++
• 算法
• 深度学习