面向多模态大模型的分布式推理架构与极致性能优化-阿里星
阿里巴巴 · 北京 / 杭州 / 上海 · 校招
AI 摘要智能生成
分布式推理架构的研发
职位描述
1、分布式推理架构的研发，包括多机推理架构设计，P/D分离、A/F分离、VL模型分离架构的落地； 2、推理引擎服务化，包括推理引擎如何接入线上服务平台，自动扩缩容和可观测性的适配，以及提升线上服务稳定性； 3、多模态模型的推理功能开发和性能优化，包括对Qwen-VL、Qwen-Audio、Qwen-Omni等多模态输入/输出模型的功能支持和推理性能优化； 4、分布式 KV Cache Store 的设计与研发，构建高吞吐、低延迟的全局 KV Cache 池化管理机制，实现跨计算节点（显存/内存）的高效数据传输与共享。