数据开发专员

AI 摘要智能生成

搭建、维护大数据平台

职位描述

1.搭建、维护大数据平台，保障 Hadoop、Spark 等框架稳定运行，处理系统故障。 2.用 Flink、Kafka 等进行实时数据处理与分析，开发实时报表与监控系统。 3.建设数据仓库，完成数据建模、ETL 流程开发和数据清洗整合。 4.运用机器学习算法挖掘数据价值，与业务团队合作输出方案。 5.引入新技术优化系统，探索大数据新应用场景。

任职要求

• （一）专业技能
• 1.掌握 Hadoop、Spark、Hive 等框架，熟悉 Kafka、Flink 实时处理技术。
• 2.熟悉Java 或 Python，熟悉 SQL 语言。
• 3.了解机器学习算法，会用 Scikit - learn 等工具。
• 4.熟练使用 IDE 工具，熟悉 Linux 系统。
• （二）项目经验
• 1、有 2年以上大数据开发经验，有实时数据开发项目经验优先，参与过 2 个以上中大型大数据项目。
• 2、优秀应届毕业生亦可
• （三）能力素质
• 1.学习能力强，能快速掌握新技术。
• 2.善于分析和解决复杂问题。
• 3.具备良好沟通与团队协作能力。
• 4.有创新思维，推动大数据业务应用。
• 5.工作负责，确保数据和系统质量。