资深研发工程师-DataAgent架构方向(J10281)
北京神舟航天软件技术股份有限公司 · 北京-海淀区 · 社招
AI 摘要智能生成
负责开展架构规划、技术研究与业务交付支撑
职位描述
1.负责开展架构规划、技术研究与业务交付支撑;开展技术栈选型,响应业务需求完成架构拆解与方案转化,攻坚核心技术、破解关键架构难点;承担关键模块、技术原型的软件开发实现,验证架构方案可行性;完成定量前端开发工作与前端技术规划;配合各方推进重大项目落地,提供架构侧技术保障;构建稳定、弹性、高可用的企业级技术底座,保障重点项目交付质效。 2.聚焦数据中台核心底座的架构规划与核心模块研发,完成数据治理平台建设,落地数据采集、数据开发、数据治理、元数据管理、数据血缘、指标系统等核心功能,支持异构多源数据接入、指标统一建模、数据统一管理等能力。 3.负责基于本体的智能大数据平台建设,依托数据本体建模能力,打通元数据、数据血缘、指标语义之间的关联关系,实现数据资产的自动标注、智能分类与语义化检索,降低数据的查找与使用门槛。 4.负责湖仓一体架构的设计与落地,基于主流大数据引擎完成存算分离、多引擎统一路由、批流一体数据Pipeline的研发与性能优化,支撑TB-PB级数据的高效离线、实时处理。 5.负责面向数据分析场景的Data Agent体系设计与核心研发,基于本体平台与指标系统的能力,构建Agent工具调用框架、SQL自主生成与校验、指标自动查询、多轮任务规划、数据异常诊断的能力,打通数据资产到智能应用的落地路径。 6.跟踪数据中台、大数据与AI融合领域的前沿技术,完成Data Agent、本体智能数据平台相关关键技术预研与落地沉淀,主导核心技术难题攻关,推动团队整体技术能力升级。
任职要求
- 研究生及以上学历,计算机、软件工程等相关专业,5年以上大数据平台、数据中台相关研发经验,具备高级工程师或架构师级别的技术能力。
- 精通Java/Go/Python至少一门后端开发语言,扎实掌握分布式系统原理、数据库内核基础、SQL运行优化机制,具备复杂分布式系统的设计开发经验。
- 深入掌握Spark、Flink至少一种大数据计算引擎,熟悉完整大数据技术栈,熟练使用Hive、Doris等主流大数据组件,具备大规模数据仓库、数据湖的架构搭建经验。
- 具备数据治理相关体系的落地经验,熟悉数据标准、元数据管理、数据质量、数据安全等核心模块的实现逻辑。有企业级指标系统的开发或落地经验,熟悉指标建模、指标生命周期管理、指标口径治理的相关方法论与技术实现。
- 具备LLM应用开发基础,了解Agent的规划、记忆、工具调用核心机制,有Data Agent相关的原型开发或项目落地经验优先。具备良好的技术规划能力、跨团队协同推动能力,能够负责复杂模块从需求分析到上线落地的过程。
- 加分项:
- 具备系统架构设计师、高级工程师、软件设计师、系统分析师、数据库系统工程师等职称及职业资格者优先;
- 有大型企业级数据中台、数据治理平台的架构设计与落地经验;
- 主导过企业指标体系平台的设计与落地,有大规模下指标系统的系统稳定性、性能优化实战经验;
- 有开源大数据社区的代码贡献经历,参与过Spark、Flink、Gravitino、Kyuubi等开源项目者优先;
- 有知识图谱、数据本体建模相关的项目经验,参与过基于本体的智能数据治理、语义化数据平台建设者优先;
- 具备成熟的Data Agent落地经验,有面向数据分析场景的智能体开发相关项目经验。