数据开发工程师

AI 摘要智能生成

深度参与集团数据解决方案规划和架构设计，利用大数据解决当前的业务痛点

职位描述

1、深度参与集团数据解决方案规划和架构设计，利用大数据解决当前的业务痛点； 2、深度参与集团数据架构的设计与开发； 3、深度参与集团数据质量体系的建设，形成完善的数据监控和数据校验机制； 4、负责企业级数据平台的搭建与优化，包括数据采集、存储、计算、调度等核心模块（如基于Hadoop/Spark/Flink构建离线，实时数仓）。 5、设计高可靠的数据ETL流程，处理结构化/非结构化数据，保障数据质量与时效性。 6、开发实时数据管道，支持业务实时决策；解决流程处理。

任职要求

• 1、教育背景
• 本科及以上学历，计算机科学、数据科学、统计学、软件工程等相关专业优先。
• 2、工作经验
• 5年以上数据开发经验，其中至少2年制造行业相关经验，具备完整数仓从0到1搭建经历者优先。
• 有大规模数据处理（PB级）或实时数仓建设经验者优先。
• 3、技术能力
• 编程与数据库：精通Flink SQL、Spark SQL及性能优化，熟练掌握Python/Java/Scala中至少一种编程语言。
• 有丰富的大数据项目经验，熟悉常见的大数据及分布式系统的基础组件与服务，如MapReduce、Hive、HBase、Kafka、Spark、Flink、hudi等。
• 具备海量数据和大规模分布式系统的设计和开发经验，能解决大数据系统中存在的性能瓶颈；