KIMI Agent Eval Intern｜视觉/3D/Robotics方向

AI 摘要智能生成

题目设计、评分细则（rubrics）制定与自动评

职位描述

把对 AI 产物的专业判断，变成可复现、可解释、能规模化运行的评测标准。 关于这个岗位 我们正在构建面向真实世界任务的多模态 Benchmark，希望回答一个具体问题：AI 生成的作品或方案，究竟在多大程度上解决了用户的问题，离高质量交付还差在哪里？ 你将参与题目设计、评分细则（rubrics）制定与自动评测（AutoEval）迭代，让自动评测在更高的质量标准下，稳定识别优劣、解释判断依据，并逐步减少重复人工评审。当前工作从 SVG、动画等生成产物切入，后续可能拓展到 3D 建模、Three.js 交互场景、Code-to-Video（代码生成视频）和机器人设计（Robot Design）。你可以从熟悉的方向开始，逐步扩展。 你会做什么 设计有真实价值、有难度的题目。从用户需求与专业工作流中提炼任务，明确交付物、约束和验收方式；用多种模型的实际作答验证难度与区分度，形成覆盖不同能力和难度层级的题集。 把“好在哪里、错在哪里”写成可执行的 rubric。拆解需求满足、结构与功能正确性、动态或物理合理性、视觉表达等维度，明确必要条件、评分档位、权重、正反例和边界情况，让专业判断可以被他人复核、被自动评测使用。 持续改进自动出题与判分方法。从误判样本中定位问题，迭代 rubric 模板、生成流程和 Judge 提示词；与研究、工程同学协作，结合程序检查、执行或仿真结果、视觉模型及多模态模型判断，选择适合任务的评测方式，并用对照实验验证改进。 验证 Judge 的可信度。组织人工校准与分歧复盘，检验重复评分稳定性、与人工判断的一致性、严重误判及跨题目、跨模型泛化；保留独立测试集，排查模板过拟合、风格偏置与“钻评分空子”的案例。 沉淀可复用的评测资产。维护题目、rubrics、锚点样例、失败案例和版本记录，让评分能够追溯到具体证据；设计不确定样本转人工复核的机制，在明确质量门槛下提高自动评测覆盖率。 我们期待你 本科及以上在读，专业不限。欢迎设计、数字媒体、建筑、计算机、人工智能、图形学、机器人等背景。 有专业判断，也能解释判断。能结合任务目标说明一个结果为什么好或不好，把“感觉不对”转化为明确的维度、例子和验收条件。 愿意用实验修正标准。能主动寻找反例、处理评审分歧，区分模型能力不足、题目歧义和评测器错误；在证据不足时保留不确定性。 有动手能力与清晰的表达。能借助脚本、数据分析工具或 AI 工具整理样本、完成小规模对照实验，记录过程并复盘结果；能够阅读相关英文资料，与不同专业背景的同学协作。 以下两类能力至少具备一类，欢迎兼具两者： 设计与领域评测方向：在视觉设计、视频、动画、3D、交互或产品设计等领域有作品或实践；能提出有区分度的质量标准，并通过样例校准与团队协作，将标准推进到自动评测中。 技术与评测研究方向：具备 Python 或 JavaScript 编程能力，有模型评测、计算机视觉、图形学、具身智能或自动化测试等项目经验；能够实现指标或验证脚本，分析指标与实际任务质量之间的差距。 加分经历 设计过评测标准、数据集、Benchmark、奖励函数或 LLM / VLM Judge；有人工标注校准、误差分析或评测工具开发经验。 熟悉 Blender、Rhino / Grasshopper、Three.js、视频生成或机器人仿真中的任一方向，能检查源文件、交互过程、时序表现或运动约束。 有将主观质量转成可验证标准的实践，例如解释视频节奏与美感、检验参数化模型的可编辑性与复现性、验证机器人结构与动作的可行性。 你将推动的成果 围绕一个具体任务方向，完成“题目与样例 → rubric → 自动评测 → 人工校准 → 独立验证”的完整迭代，并沉淀可复用的题包、标准和分析报告。 我们关注的进展包括：题目能否反映真实需求并区分能力；评分能否稳定复现、解释到具体证据；在保留质量区分度的同时，能否降低严重误判；在控制误判的前提下，能否减少人工复核量和评测成本。各项指标会结合任务基线共同设定。

任职要求

• Python
• Java
• JavaScript
• 数据分析