数据开发工程师

AI 摘要智能生成

按湖仓一体架构建设数据仓库，完成ODS/DWD/DWS/ADS分层建模，年薪1.6-3.7万

职位描述

1.按湖仓一体架构建设数据仓库，完成ODS/DWD/DWS/ADS分层建模； 2.合规采集教材教辅、试卷试题、公开课程与视频资源，经OCR与文档解析转为结构化数据并清洗入库； 3.构建作答、学习行为、设备事件实时数据链路； 4.提供数据服务API及学情报告、运营看板数据支撑； 5.负责手写样本等训练数据集构建、标注管理与质检； 6.建设学生、教师、家长、学校标签体系与用户画像。

任职要求

• 3—5年数据开发经验，熟练使用SQL及Python/Java/Scala，能开发数据爬虫；
• 熟悉DataX、SeaTunnel、Flume等采集工具及DolphinScheduler、Airflow等调度工具；
• 熟悉Flink、Spark Streaming及Paimon、Hudi、Iceberg等数据湖框架；
• 会调用PaddleOCR、MinerU、FunASR批量处理数据，能用大模型做清洗与结构化抽取；
• 有用户画像标签体系建设经验，具备版权与个人信息保护意识；有湖仓一体、数据标注治理经验者优先。
• 薪酬按岗位职级与面试评估核定，税前年薪预计20-45万。