数据研发工程师

AI 摘要智能生成

(1)数仓模型实施：根据业务需求

职位描述

(1)数仓模型实施：根据业务需求，具体实施数据仓库模型开发，完成事实表、维度表以及 ODS/DWD/DWS/ADS 各层数据表的编写与落地。 (2)数据建模落地： 按照规范设计并实现具体的数据结构，保证数据表结构合理、命名规范，满足日常分析与报表需求。 (3)ETL任务开发：使用 ETL 工具或编写脚本，具体实现数据的提取、转换和加载（ETL）逻辑，确保数据流转的准确与高效。 (4)多源数据接入：负责处理和清洗来自多个业务系统的大数据集，完成数据清洗、去重、补全与集成，确保数据的完整性与一致性。 (5)质量规则实现：按照业务标准，具体编写和实现完整性、准确性、一致性、唯一性、及时性等各项数据质量校验规则。 (6)校验任务开发：基于 SQL、Python 或规则引擎，开发数据校验、异常检测、重复数据识别、空值检测及业务逻辑校验任务。 (7)跨系统核对：针对多系统接入场景，具体执行源端与目标端记录数、关键字段、编码映射和汇总指标的一致性核对。 (8)告警处理与问题跟进：监控数据仓库系统运行告警，排查并解决数据质量问题；落实质量问题的记录、分派、整改跟踪与复核闭环。 (9)规则模板化与性能优化： 将常用校验规则沉淀为可配置的参数化模板；针对大数据量校验和复杂 SQL 进行调优，降低对生产环境的性能影响。 (10)测试与文档编写： 编写规则测试用例、异常数据样例及技术执行文档，配合测试及治理负责人完成平台验收。 (11)跨团队协作:与数据治理架构师、医疗数据工程师及业务对接人保持紧密配合，快速响应业务端的数据需求，确保数据任务按时高质量交付。

任职要求

• (1)具有本科及以上学历，计算机科学与技术、软件工程、数据科学与大数据技术、统计学等相关专业。
• (2)具有3年及以上数据开发、数据质量、数据测试或数据治理相关经验；具备独立开发和排查质量问题的能力
• (3)熟练掌握SQL，能够编写多表关联、聚合统计、窗口函数、异常检测及数据一致性校验语句。
• (4)熟悉Python或其他数据处理语言，具备数据质量检测脚本、自动化校验或批量处理开发能力。
• (5)理解常见数据质量维度、质量规则设计方法、数据异常分析和根因定位流程。
• (6)熟悉关系型数据库及常见数据集成方式，了解ETL/ELT、数据仓库、任务调度和日志监控。
• (7)能够将业务规则转换为可执行的质量规则，定义规则参数、阈值、异常处理策略和结果口径。
• (8)具备较强的问题排查、数据分析和跨团队沟通能力，能推动问题从发现到整改、复核和关闭。
• (9)能够编写测试用例、技术文档和质量分析报告。
• (10)优先条件：有数据质量平台或规则引擎的实际开发经验。熟悉Airflow、DolphinScheduler等调度工具，或具备同类任务编排经验。熟悉Spark、Flink、Kafka等大数据组件中的一种或多种。有数据血缘、元数据、数据标准或数据资产平台的协作开发经验。有医疗数据治理经验，了解患者主索引、诊断编码、检验检查、药品编码、时间逻辑和跨系统一致性问题者优先。