大模型数据开发实习生
哔哩哔哩 · 上海 · 实习
AI 摘要智能生成
开发和维护视频、图像、音频等多模态数据处理管线
职位描述
开发和维护视频、图像、音频等多模态数据处理管线。 接入新数据源，编写批量处理、增量入库脚本，负责数据清洗、去重和校验。 参与分布式任务性能调优，维护任务监控、日志和告警。 工作要求: 计算机、软件工程、数据科学等相关专业本科及以上在读；每周至少到岗 4 天，实习 6 个月以上优先。 有分布式计算或大规模数据处理经验，熟悉 Ray、Spark、Flink 中至少一种，Ray 优先。 熟悉 AI Coding，具备良好的开发、调试和工程习惯。 使用过 S3、OSS、MinIO 等对象存储，了解高并发场景下的限流、重试和连接池管理。 理解任务拆分与调度、并发和资源配置、数据倾斜、背压、失败重试和断点续跑等基本问题。 能结合日志、指标和数据定位问题，并给出有依据的分析结论。 加分项 在大规模 Ray 集群上进行过任务调优，并有处理耗时、吞吐量、资源利用率或失败率等方面的量化结果。 处理过亿级、TB 级或 PB 级数据。 有视频、图像、音频处理或数据质量建设经验。