AI数据工程师-基座大模型方向（大量HC）(J13364)

AI 摘要智能生成

参与大模型训练数据从采集、解析、清洗、去重

职位描述

1、参与大模型训练数据从采集、解析、清洗、去重、质量评估、合成加工到训练供给的完整流程，与模型算法团队紧密协作，持续优化数据质量、数据结构和数据处理效率。 2、参与代码、智能体、通用推理等多种类型数据的生产与管理，开发和维护大规模数据处理Pipeline，提升数据处理任务的自动化程度、运行效率和稳定性。 3、参与数据合成、自动标注系统建设、高质量数据体系建设等工作，保证训练数据可追踪、可复现和可评估。 4、与模型算法和评测团队协作，基于真实应用场景反馈，分析训练数据与模型效果之间的关系，参与错误案例分析和数据迭代，推动模型效果持续进步。 5、参与构建代码工程、AI搜索、工具调用、任务规划和多轮交互等复杂智能体任务轨迹数据。

任职要求

• 算法