慧实习
← 返回首页

科创运维中心-大数据平台运维工程师

中数联物流科技(上海)有限公司 · 上海-浦东新区 · 社招

信息来源:国聘查看原始链接 ↗薪资面议
立即投递 ↗

AI 摘要智能生成

负责数据存储、调度、计算集群的部署、监控

职位描述

1.负责公司大数据平台(Hadoop、Hive、Spark、Flink、HBase、ClickHouse、TiDB等)的运维管理,保障系统高可用性和高性能; 2.负责数据存储、调度、计算集群的部署、监控、优化和扩容,及时处理故障与性能瓶颈; 3.兼任大数据平台DBA职能,管理数据存储与访问策略,确保数据库/数仓的稳定运行与性能优化; 4.设计并实施备份、容灾和高可用方案,保障数据安全与业务连续性; 5.配合开发团队进行数据建模、SQL优化、查询性能调优; 6.建立大数据运维规范和自动化工具体系,提升运维效率; 7.跟踪大数据与云原生数据库技术发展趋势,评估并引入新技术。

任职要求

  • 本科及以上学历,计算机、软件工程、信息管理等相关专业优先;
  • 2年及以上大数据运维或DBA经验,有大规模分布式系统运维经验优先;
  • 精通Hadoop、Spark、Flink、Kafka等大数据生态组件的部署与调优;
  • 熟悉ClickHouse、TiDB、PostgreSQL、MySQL等数据库,具备SQL调优与数据分布式管理能力;
  • 熟悉Linux系统管理,掌握脚本编程(Shell/Python)和自动化运维工具(Ansible/K8s等);
  • 具备系统架构设计与性能优化思维,能够在复杂环境下定位和解决问题。
  • 有PB级以上大数据平台运维与优化经验;
  • 熟悉云厂商大数据服务(阿里云E-MapReduce、华为云MRS、AWSEMR、GCPBigQuery等);
  • 持有大数据或数据库相关认证(如Cloudera/Hortonworks、OCP、TiDB认证DBA);
  • 参与过金融、物流或政企行业的大数据平台建设或运维项目。

同类岗位推荐