数据开发工程师-杭州

AI 摘要智能生成

参与数仓一体数据平台从 0 到 1 建设

职位描述

岗位职责 1. 参与数仓一体数据平台从 0 到 1 建设，快速理解现有 Greenplum 数仓架构与核心业务逻辑，推动向「Hive 离线计算 + GP 查询引擎 + Flink 实时计算」双引擎架构演进； 2. 准确解读并澄清业务需求，从开发视角界定问题边界，将临床研发、财务、运营等业务需求高效转化为可落地的数据模型与技术方案； 3. 以 SQL 为核心开发语言，基于 Hive / Greenplum / PostgreSQL 等构建复杂、高性能的数据模型与指标体系，覆盖离线数仓（ODS→DWD→DWS→ADS）与实时数仓建设； 4. 独立完成端到端的数据开发任务，包括 ETL/ELT 流程开发、数据质量校验、逻辑准确性测试、上线部署及文档沉淀； 5. 参与数据管道的日常维护、监控、性能调优与故障排查，保障离线与实时数据服务的稳定性与及时性； 6. 参与数据治理体系落地，包括数据标准、主数据管理、元数据管理、数据质量规则等，推动数据资产化建设； 7. 遵循医药行业合规（GCP、数据安全、个人信息保护等）要求与数据仓库开发最佳实践，确保代码可维护性、可扩展性与数据一致性； 8. 与跨职能团队（业务、BI、产品、平台运维、数据分析师）高效协作，推动数据项目高质量交付。

任职要求

• 5 年以上数据仓库或数据平台开发经验，具备完整的端到端项目交付经验；有数据平台从 0 到 1 建设经验者优先；
• 深入理解数据仓库建模理论（维度建模、分层架构、范式建模等），精通数仓开发最佳实践，有大型数仓分层设计与落地经验；
• 精通 SQL，具备 Hive / Greenplum / PostgreSQL / Oracle 等数据库的高性能数据处理与复杂逻辑（存储过程、窗口函数、高级函数等）实现能力；有 SQL 性能调优经验；
• 熟悉 Hadoop 生态（HDFS / YARN / Hive / Hue / Sqoop 等），了解湖仓一体架构理念，有 Iceberg / Hudi / Delta 等表格式技术经验者优先；
• 熟悉主流 ETL/ELT 工具与调度系统（如 DataX、DolphinScheduler、Airflow 等），有实际数据管道开发与运维经验；
• 有实时数据开发经验者优先：了解 Flink / Kafka，有实时数仓或流式数据处理项目经验；
• 能快速阅读、理解并扩展现有数据逻辑，具备构建复杂业务指标（如临床入组率、项目里程碑达成率、时序聚合、财务多维度分析等）的能力；
• 具备良好的需求分析与承接能力，能与数据分析师、业务方高效对接并推动需求落地；
• 拥有上线后系统运维、性能调优及问题排查的实际经验；
• 优秀的学习能力、逻辑思维、沟通表达能力与执行力，能快速适应团队节奏并高效交付；
• 加分项：
• 有医药、生命科学、医疗或 CRO 行业数据项目经验
• 有外企项目合作经验
• 有数据治理（数据标准、数据质量、元数据）相关经验
• 熟悉 GxP 合规体系下的计算机化系统验证（CSV）要求
• 计算机、软件工程、数学、统计或相关专业全日制本科及以上学历（学信网可查）。