智源联合多校推出PhysCapBench物理信息评测基准

更新于 2026年11月19日 阅读 19

智源研究院联合逆矩阵、北大、清华、北航推出PhysCapBench,覆盖三大领域共1500段视频,从七维度评测Caption物理信息,实验显示物理描述可改善生成模型表现。

智源研究院与逆矩阵、北京大学、清华大学、北京航空航天大学共同推出名为悟界·PhysCapBench的基准。该基准是首个同时覆盖第三人称场景、第一人称操作以及手持夹爪示范三大领域的评测工具,旨在统一衡量视频Caption中所包含的物理信息。

PhysCapBench从视频描述入手,对物理信息的覆盖程度与保真水平进行统一度量。基准共包含1,500段视频序列,每个领域各500段。在多视角示范中,同一次交互过程被组织为一段视频序列。

评价体系围绕Caption展开,共设七个维度,每个维度均落到具体的信息类型。七名专业标注人员参与了参考描述的标注与质量检查工作。参考描述的构建从全局观察与事件定位出发,对对象与状态进行梳理。

在视频生成方向,基准用于检验更完整的物理信息能否改善模型表现。实验固定生成模型、首帧与生成时长,比较原始描述与物理描述的效果差异。结果显示,物理描述在两个领域、两种生成模型上均带来改善。

具体而言,在第一人称操作领域,LPIPS相对下降最高达30.88%,PVCS相对下降最高达28.09%。在机器人策略方面,则通过Training Instruction Upsampler来丰富训练语言监督。正如相关表述所指出的,“语言表达的完整,并不等于物理信息的完整”,评测关注的正是“这段描述有没有把物理过程说清楚、说准”。

内容来源于网络,如有侵犯您的权益,请联系邮箱 kefu@qiyes.com,我们将第一时间核实处理。

来源:雷锋网