流式视频理解算法实习生
小红书 · 上海市 · 实习
AI 摘要智能生成
构建面向真实世界的实时视觉理解系统
职位描述
我们正在探索流式视频大模型方向，致力于让模型从“看完再回答”进化为“边看边理解、实时响应”。你将参与构建面向真实世界的实时视觉理解系统，覆盖视频流理解、长时记忆建模、主动式交互等前沿课题，推动模型能力从离线走向在线。 流式理解核心研究： 1、跟踪流式视频理解领域最新进展，输出技术洞察，探索适合业务场景的创新方案； 2、设计高效的流式推理架构，包括记忆压缩模块、时序建模与位置编码方案； 3、构建流式视频训练数据集与训练框架，探索离线到在线的课程学习范式； 视频内容理解落地： 4、研发视频内容理解模型：高光识别、场景分类、精彩度评分、人物/物体语义理解； 5、实现智能切片能力：从直播流/点播视频中自动定位高光片段，支持实时和离线两种模式； 6、将内容理解能力接入产品链路，包括直播封面、运营挖掘工具、创作者笔记诊断报告等； 评测与工程： 7、构建流式视频评测体系，与人工标注对比，持续提升模型精度； 8、优化端到端推理延迟、显存占用和吞吐量，满足实时性要求。