数据工厂架构师

AI 摘要智能生成

架构设计与工程化

职位描述

岗位任职要求 1.架构设计与工程化能力要求： ①大数据架构：熟悉大数据生态体系（Hadoop/Spark/Flink/Kafka等），深入理解离线批处理与实时流计算架构，具备PB级数据湖、数据仓库或Data Fabric架构设计能力。 ②平台化思维：具备数据中台或数据工厂平台从0-1的架构经验，熟悉主流数据集成与调度工具（如DataX，DolphinScheduler，Airflow等）能够将数据加工流程组件化、配置化；具备从架构设计方案到项目具体实现的工程化能力。 2.数据管理要求： ①数据血缘：熟悉数据治理体系，掌握元数据管理与数据血缘解析技术（如基于SQL AST解析，正则匹配或探针技术），具备企业级数据资产建设或血缘图谱落地能力。 ②数据安全与权限管控：深入理解数据安全与隐私保护相关法律法规，数据加密、脱敏、水印、API安全网关及审计日志等底层安全技术的架构设计与实现；熟悉大数据平台的权限体系设计，能够实现复杂业务场景下的数据访问隔离与合规审计。 3.其他要求： ①硕士学历，计算机、软件工程、大数据、人工智能等相关专业毕业。 ②具有良好的思想政治素质，政治立场坚定；具备良好的沟通协调能力、学习能力、团队协作能力和执行能力。 ③有专业数据治理公司或制造业企业级数据中心、数据中台的论证和建设经验；有数据中心架构设计和运营经历；了解数据治理业界生态，熟悉数据工厂运营模式的优先。

任职要求

• SQL