大数据工程师

AI 摘要智能生成

参与大数据基础平台的建设与维护

职位描述

1.参与大数据基础平台的建设与维护，包括分布式计算、分布式存储、消息队列、资源调度等核心组件； 2.负责Hadoop、Spark、Flink、Kafka、HBase、Hudi、Iceberg等大数据组件的部署、调优与二次开发； 3.参与大数据底层引擎的源码研究与改造，针对业务场景进行性能优化和功能增强； 4.负责大数据平台的资源管理与容量规划，优化计算、存储、网络资源的利用率与成本； 5.参与数据存储格式、文件布局、索引机制、缓存策略等底层技术方案的设计与实现； 6.参与大数据平台的高可用、容灾、监控与告警体系建设，保障平台稳定运行； 7.跟进大数据、云原生、存算分离等前沿技术，进行技术预研与落地验证； 8.编写技术文档，参与内部技术分享，沉淀底层平台技术能力。

任职要求

• 1.具备扎实的计算机基础，熟悉操作系统、计算机网络、数据结构与算法、数据库原理、分布式系统等核心课程；
• 2.掌握Java开发语言，熟悉Python、Go或C++；
• 3.熟悉Linux操作系统，掌握常用Shell命令，具备一定的脚本开发能力；
• 4.了解主流大数据技术栈，如HadoopHDFS/YARN、Spark、Flink、Kafka、HBase、Zookeeper等，有实际使用或项目经验者优先；
• 5.对底层技术有浓厚兴趣，愿意深入源码，理解分布式计算、存储、调度等核心机制；
• 6.了解容器化技术（Docker、Kubernetes）、资源调度（YARN、K8s）者优先；
• 7.具备良好的逻辑思维、问题分析与解决能力，有较强的学习能力和技术热情。