词元星火-端侧（含边缘）大模型推理研发工程师-合肥(J14269)

AI 摘要智能生成

面向边缘场景的算子开发与优化

职位描述

1、 面向边缘场景的算子开发与优化 - 围绕GPU等主流边缘硬件架构，依托SIMD/SIMT等并行计算技术，完成面向大模型核心计算算子研发和优化。 - 立足芯片存储层级、计算单元、指令集特性，开展针对性性能调优，确保算子性能精准匹配硬件能力，为业务提供高效算力支持。 2、 面向端侧丰富算力硬件适配 - 针对高通、MTK等多种常见的端侧芯片，高效发挥芯片算力，加速星火模型计算； - 面向瑞芯微、聆思等丰富的国产端侧芯片，协同芯片特性，适配优化星火大模型。 3、协同设计与引擎框架研发 - 紧跟模型结构与算法迭代趋势，协同框架、算法团队，设计适配边缘硬件特性的模型方案，挖掘硬件与算法的协同潜力。 - 围绕自有或开源推理框架，研发星火大模型端侧推理的框架，设计并实现高性能、低延迟的推理解决方案，为模型落地提供性能优化支撑，保障业务高效运行。

任职要求

• 算法