平台开发中心-数据接入与采集工程师
中数联物流科技(上海)有限公司 · 上海-浦东新区 · 社招
AI 摘要智能生成
负责数据接入体系的建设与维护
职位描述
1.负责数据接入体系的建设与维护,支持多源异构数据(API、数据库、日志、IoT、文件流等)的采集与接入; 2.设计并实现数据采集流程,包括接口对接、任务调度、增量/全量采集与数据清洗; 3.构建统一的数据接入规范,确保数据传输的稳定性、准确性和安全性; 4.维护数据采集链路的监控与预警,保障实时数据与批量数据的高可用性; 5.参与建设数据平台,推动数据采集与数据治理、资产管理的打通; 6.协同合规、安全团队,确保数据采集与跨境传输符合相关法律法规(如《数据安全法》、《个人信息保护法》); 7.总结沉淀数据采集方法论,提升采集自动化与可复用能力。
任职要求
- 本科及以上学历,计算机、软件工程、数据科学等相关专业;
- 2年及以上数据采集、数据开发或接口集成相关经验;
- 熟悉常见数据接入与采集工具(如Flume、Logstash、NiFi、DataX等),具备API/SDK开发与使用经验;
- 熟悉消息队列与数据流系统(Kafka、Pulsar、RabbitMQ等),理解实时数据采集与流处理原理;
- 精通SQL,掌握Python/Java/Shell等语言,能编写数据采集脚本与接口逻辑;
- 具备数据质量与安全意识,能在采集环节控制数据完整性与合规性。
- 有交通物流、IoT、供应链场景的数据采集与对接经验;
- 主导过跨系统/跨组织的数据接入平台建设;
- 熟悉数据湖、实时数仓等架构;
- 熟悉跨境数据合规与安全传输方案。