科创运维中心-大数据平台运维工程师
中数联物流科技(上海)有限公司 · 上海-浦东新区 · 社招
AI 摘要智能生成
负责数据存储、调度、计算集群的部署、监控
职位描述
1.负责公司大数据平台(Hadoop、Hive、Spark、Flink、HBase、ClickHouse、TiDB等)的运维管理,保障系统高可用性和高性能; 2.负责数据存储、调度、计算集群的部署、监控、优化和扩容,及时处理故障与性能瓶颈; 3.兼任大数据平台DBA职能,管理数据存储与访问策略,确保数据库/数仓的稳定运行与性能优化; 4.设计并实施备份、容灾和高可用方案,保障数据安全与业务连续性; 5.配合开发团队进行数据建模、SQL优化、查询性能调优; 6.建立大数据运维规范和自动化工具体系,提升运维效率; 7.跟踪大数据与云原生数据库技术发展趋势,评估并引入新技术。
任职要求
- 本科及以上学历,计算机、软件工程、信息管理等相关专业优先;
- 2年及以上大数据运维或DBA经验,有大规模分布式系统运维经验优先;
- 精通Hadoop、Spark、Flink、Kafka等大数据生态组件的部署与调优;
- 熟悉ClickHouse、TiDB、PostgreSQL、MySQL等数据库,具备SQL调优与数据分布式管理能力;
- 熟悉Linux系统管理,掌握脚本编程(Shell/Python)和自动化运维工具(Ansible/K8s等);
- 具备系统架构设计与性能优化思维,能够在复杂环境下定位和解决问题。
- 有PB级以上大数据平台运维与优化经验;
- 熟悉云厂商大数据服务(阿里云E-MapReduce、华为云MRS、AWSEMR、GCPBigQuery等);
- 持有大数据或数据库相关认证(如Cloudera/Hortonworks、OCP、TiDB认证DBA);
- 参与过金融、物流或政企行业的大数据平台建设或运维项目。