大数据开发管培生

AI 摘要智能生成

参与企业级数据仓库（EDW）或数据湖（DataL

职位描述

1、参与公司大数据平台（基于Hadoop,Spark,Flink,Kafka,Hive,HBase,ClickHouse等）的架构设计、核心组件开发、部署、调优和日常运维保障，确保平台高可用、高性能、高扩展性； 2、设计、开发和维护高效、稳定的实时/离线数据采集、清洗、转换、加载（ETL/ELT）管道，处理业务系统、用户行为等多源异构数据（包括时序数据、日志数据、结构化数据等）； 3、参与企业级数据仓库（EDW）或数据湖（DataLake）的模型设计、开发和管理，保证数据的准确性、一致性和及时性； 4、开发数据API、数据查询引擎接口等，为下游数据分析、AI模型训练、报表系统等提供高效的数据访问服务； 5、针对海量数据处理场景（特别是车辆实时数据流），进行性能瓶颈分析、任务调优和资源管理优化； 6、关注大数据领域新技术发展（如流批一体、数据湖仓、Serverless等），评估其在汽车场景的适用性； 7、关注大数据领域新技术发展（如流批一体、数据湖仓、Serverless等），评估其在汽车场景的适用性。

任职要求

• 硕士及以上学历；
• 计算机科学、软件工程、数据科学与大数据技术、电子信息等相关专业的应届硕士及以上毕业生；
• 扎实的Java/Scala/Python编程基础和良好的编码习惯；
• 深入理解分布式系统原理、计算和存储架构；
• 熟悉Linux操作系统和Shell脚本；
• 熟悉核心技术栈（核心框架、消息队列、存储与查询、调度与协调等；
• 熟悉主流云平台大数据服务者，有大数据相关项目经验或实习经验，熟悉大规模数据处理流程者优先；
• 了解数据仓库建模理论（如维度建模），对实时数据处理（流计算）有实践经验者优先。