数据采集&解析工程师
小红书 · 北京市，上海市 · 社招
AI 摘要智能生成
负责分布式爬虫系统的设计与优化
职位描述
1、负责分布式爬虫系统的设计与优化 2、负责大规模广域爬虫引擎的部署、开发、维护 3、负责大规模网页数据采集系统开发，互联网资源清洗和结构化，网页转码，网页聚合，信息抽取，网页分类 1、负责百亿级搜索内容解析系统建设，持续提升解析效果和性能 2、应用大模型技术，提升数据解析质量和成功率 3、负责互联网海量数据（网页、文档、富媒体等）的去重、清洗、结构化导入、分类、信息抽取与价值评估