慧实习
← 返回首页

平台开发中心-数据接入与采集工程师

中数联物流科技(上海)有限公司 · 上海-浦东新区 · 社招

信息来源:国聘查看原始链接 ↗薪资面议
立即投递 ↗

AI 摘要智能生成

负责数据接入体系的建设与维护

职位描述

1.负责数据接入体系的建设与维护,支持多源异构数据(API、数据库、日志、IoT、文件流等)的采集与接入; 2.设计并实现数据采集流程,包括接口对接、任务调度、增量/全量采集与数据清洗; 3.构建统一的数据接入规范,确保数据传输的稳定性、准确性和安全性; 4.维护数据采集链路的监控与预警,保障实时数据与批量数据的高可用性; 5.参与建设数据平台,推动数据采集与数据治理、资产管理的打通; 6.协同合规、安全团队,确保数据采集与跨境传输符合相关法律法规(如《数据安全法》、《个人信息保护法》); 7.总结沉淀数据采集方法论,提升采集自动化与可复用能力。

任职要求

  • 本科及以上学历,计算机、软件工程、数据科学等相关专业;
  • 2年及以上数据采集、数据开发或接口集成相关经验;
  • 熟悉常见数据接入与采集工具(如Flume、Logstash、NiFi、DataX等),具备API/SDK开发与使用经验;
  • 熟悉消息队列与数据流系统(Kafka、Pulsar、RabbitMQ等),理解实时数据采集与流处理原理;
  • 精通SQL,掌握Python/Java/Shell等语言,能编写数据采集脚本与接口逻辑;
  • 具备数据质量与安全意识,能在采集环节控制数据完整性与合规性。
  • 有交通物流、IoT、供应链场景的数据采集与对接经验;
  • 主导过跨系统/跨组织的数据接入平台建设;
  • 熟悉数据湖、实时数仓等架构;
  • 熟悉跨境数据合规与安全传输方案。

同类岗位推荐