研发工程师（大数据方向）

AI 摘要智能生成

负责大数据应用解决方案技术研发，月薪12500-18333元

职位描述

1、负责大数据应用解决方案技术研发，完成公司大数据平台等系列产品的开发和持续迭代。 2、负责公司大数据治理服务业务的技术交付，保障项目顺利实施。 3、负责参与架构设计，解决项目开发过程中的重大技术问题。 4、对项目中数据项目交付、项目质量和项目开发进度的规划、控制、监督和管理。 5、支持市场、运营和数据部门的日常产品和研发需求。 6、负责大数据平台搭建以及数据中台项目开发。 7、负责数据仓库和大数据处理模块的架构设计和开发，完成数据接入、清洗、分析等开发工作；完成数据安全，加密存储及传输等开发工作。 8、负责基于hadoop、Spark、Flink技术的海量数据的处理、分析、统计、挖掘工作。 9、根据业务和产品，抽象业务逻辑，设计、实现数据接入等模块。

任职要求

• 计算机、数学或相关专业。
• 深入理解大数据应用相关技术的研发工作。
• 精通常见的数据结构、算法，了解软件工程、敏捷开发等知识，熟悉常用设计模式。
• 具有丰富的spring、spring boot、hibernate、struts、Mybatis、spring MVC、Quartz等后端技术开发经验，具有丰富的JBPM、Activiti等流程引擎的使用经验。
• 精通MySQL、Oracle等数据库，具有丰富的SQL优化经验，以及丰富的存储过程、函数等的开发经验。熟悉MySQL主从同步、分表分库、读写分离等相关技术。
• 熟悉Redis，Redis Cluster等的搭建与使用。熟悉Kafka、RocketMQ等消息组件。
• 熟悉Elasticsearch、Logstash、Kibana等分布式架构下的开源日志管理方案。
• 精通Java/Python等开发语言，精通大数据技术（kafka、hadoop、hdfs、hive、spark、hbase、fElasticSearch）等应用开发经验。
• 掌握数据仓库(DW)/OLAP/商业智能(BI)/数据统计理论，并灵活的应用。
• 拥有实际的Spark streaming或Flink项目经验者优先，
• 有机器学习或深度学习项目经验，CDH或DataWorks框架体系精通者优先。
• 精通大数据采集、存储、计算、分析及可视化等相关技术。
• 精通大数据算法，具备行业算法开发能力。