词元星火-大模型推理引擎研发工程师-合肥(J13588)
词元星火 · · 校招
AI 摘要智能生成
负责多机多卡分布式推理系统研发
职位描述
1、负责大模型推理框架设计与研发，主导计算图编译、算子融合、动态批处理、推理调度等核心模块优化，持续提升框架通用性与推理性能。 2、深耕Transformer模型推理优化，落地Attention加速、模型量化、KV Cache优化、显存复用等技术，解决超大模型显存溢出、推理延迟高、吞吐低等工程痛点。 3、负责多机多卡分布式推理系统研发，优化张量并行、序列并行及跨设备通信调度，支撑万亿级参数模型分布式高效推理。 4、完成推理引擎及自定义高性能算子在昇腾、海光等国产AI加速卡的适配、迁移与性能调优，搭建国产化高性能推理体系。 5、跟进业界前沿推理技术与开源框架（vLLM/SGLang/TensorRTLLM），完成技术选型、方案落地与技术沉淀，赋能业务高效迭代。