大数据工程师

AI 摘要智能生成

负责大数据平台的架构.研发和持续优化

职位描述

1、负责大数据平台的架构.研发和持续优化； 2、负责大数据的数据管理与调度，数据采集与集成，数据挖掘与可视化，数据计算与存储，数据开发与服务等相关组件的开发； 3、负责理解业务需求，进行大数据建模与大数据分析； 4、负责运维大数据等大数据应用的开发； 5、参与解决大数据基础架构项目中的关键架构问题和技术难题，负责项目中关键技术难点的攻关； 6、参与大数据的技术咨询和技术服务。

任职要求

• 学历要求：本科及以上学历。
• 专业要求：计算机相关专业。
• 经验要求：
• 技能要求：有以下一项或多项技能者优先：
• （1）有Hadoop生态相关研发和优化经验,掌握主流大数据工具平台技术，具备Java.Scala或Python编程能力，具备Hadoop相关工具（Spark，Hadoop，Hive，Flume，Hbae，kafka，Flink，Kudu，Impala等）.MPP数据库.Elaticearch.时序数据库中的大数据产品开发能力等。
• （2）熟悉数据仓库概念和分布式计算技术理论，具有大数据系统架构设计与开发经验者优先。
• （3）熟悉大数据部分组件底层源码包括但不限于(Spark，Hadoop，Hive，Flume，Hbae，kafka，Flink，Kudu，Impala等)，有修改过源码经验。
• （4）熟悉Linux系统环境，熟悉多线程及并发技术，熟悉网络编程，扎实的计算机基础，熟悉常用的数据结构和算法。
• （5）熟悉Zookeeper.Kafka.Elaticearch.Flume.Redi等。
• （6）熟悉微服务(如SpringBoot)，熟悉开源服务框架(如Dubbo/Grpc)。
• （7）熟悉Linux/Unix等操作系统,具备编写hell的能力。
• （8）有优秀的业务理解能力，能理解清楚业务并进行合理的架构设计。
• （9）具有海量数据处理.数据挖掘.数据分析等相关项目的工作经验。
• （10）具有海量数据并发查询，性能优化等工作经验。
• （11）具有实时数仓和即席查询系统的设计实践经验。
• 其他要求
• （1）具备良好的学习能力、沟通能力，优秀的团队协作精神。
• （2）良好的文档撰写能力，独立分析和解决问题的能力。
• （3）较强的学习能力、优秀的团队沟通与协作能力，工作主动积极，热爱技术喜欢钻研。</