MaaS 网关资深开发工程师(J10303)

AI 摘要智能生成

负责 MaaS 统一模型网关的架构设计与核心开发，月薪25000-30000元

职位描述

1. 负责 MaaS 统一模型网关的架构设计与核心开发，作为平台所有模型调用的唯一入口，对稳定性、性能与成本负责。多协议适配：实现 OpenAI 兼容协议及主流厂商原生协议的转换，支持流式（SSE）、多模态请求体、工具调用（Function Call）等场景。 2. 鉴权与配额：设计租户、API Key、配额与限流体系（请求级与 Token 级）、并发控制与预算保护，防止单租户拖垮平台。 3. 智能路由：实现多模型、多供应商、多区域的路由策略（质量—成本—延迟多目标）、灰度发布、故障自动降级、重试与幂等。 4. 计量与计费埋点：保证 Token 计量在流式场景下的准确归集，确保计费口径与实际用量一致，支撑账单对账零误差。 5. 性能治理：把网关自身开销控制在 P99 10ms 以内，支撑万级 QPS 的水平扩展，完成容量评估与压测。 6. 可观测性：建设链路追踪、按租户的用量与错误分析、异常请求定位能力。 7. 高可用性：保证网关运行的高可用设计和冗余设计；

任职要求

• 3年以上后端开发经验，其中 1 年以上网关、中间件或高并发基础服务经验，精通 Go（同时具备 Python 或 Rust 能力者优先）。
• 熟悉 Envoy / Nginx / APISIX 等网关技术栈的原理与二次开发，或具备自研高性能网关的完整经验。
• 熟悉 Kubernetes、Redis、Kafka、gRPC、etcd，LiteLLM等，理解服务发现、熔断限流、长连接与超时控制的工程细节。
• 理解大模型推理的调用特性：流式输出、Token 计量、长连接与断连处理、超时与排队，能针对性地设计而非套用通用网关方案。
• 具备扎实的性能分析与问题定位能力，能用 pprof、火焰图等工具把问题定位到具体代码路径。
• 有计费、计量或对账类系统的落地经验，理解「数据准确性」在计费链路中的重要性。