大模型数据治理工程师

AI 摘要智能生成

负责构建面向大模型预训练

职位描述

1.负责构建面向大模型预训练、微调的高质量数据集的数据治理体系与工具链，包括但不限于采集、清洗、去重、质量评估、结构化与标注，研发和管理自动化数据处理工具与平台。 2.负责构建大模型领域能力评测体系，基于自动化评测工具与平台，对模型的领域能力进行综合评估与基准测试。 3.负责深入数据配比、数据增强与合成数据生成等前沿技术，探索数据与模型scaling law的关系，最大化数据效用以提升模型性能。 4.负责跟踪大模型及数据治理领域前沿技术动态，推动算法创新和落地。 5.完成领导交办的其他工作。

任职要求

• 算法