智源联合多校推出PhysCapBench物理信息评测基准
智源研究院联合逆矩阵、北大、清华、北航推出PhysCapBench,覆盖三大领域共1500段视频,从七维度评测Caption物理信息,实验显示物理描述可改善生成模型表现。
智源研究院联合逆矩阵、北大、清华、北航推出PhysCapBench,覆盖三大领域共1500段视频,从七维度评测Caption物理信息,实验显示物理描述可改善生成模型表现。
智源研究院与逆矩阵、北京大学、清华大学、北京航空航天大学共同推出名为悟界·PhysCapBench的基准。该基准是首个同时覆盖第三人称场景、第一人称操作以及手持夹爪示范三大领域的评测工具,旨在统一衡量视频Caption中所包含的物理信息。
PhysCapBench从视频描述入手,对物理信息的覆盖程度与保真水平进行统一度量。基准共包含1,500段视频序列,每个领域各500段。在多视角示范中,同一次交互过程被组织为一段视频序列。
评价体系围绕Caption展开,共设七个维度,每个维度均落到具体的信息类型。七名专业标注人员参与了参考描述的标注与质量检查工作。参考描述的构建从全局观察与事件定位出发,对对象与状态进行梳理。
在视频生成方向,基准用于检验更完整的物理信息能否改善模型表现。实验固定生成模型、首帧与生成时长,比较原始描述与物理描述的效果差异。结果显示,物理描述在两个领域、两种生成模型上均带来改善。
具体而言,在第一人称操作领域,LPIPS相对下降最高达30.88%,PVCS相对下降最高达28.09%。在机器人策略方面,则通过Training Instruction Upsampler来丰富训练语言监督。正如相关表述所指出的,“语言表达的完整,并不等于物理信息的完整”,评测关注的正是“这段描述有没有把物理过程说清楚、说准”。
内容来源于网络,如有侵犯您的权益,请联系邮箱 kefu@qiyes.com,我们将第一时间核实处理。
来源:雷锋网
平台公告
拖拽式可视化编辑、模板自由更换、支持自定义域名绑定。
11月16日美国BIS出口管制延伸至远程算力访问,次日智源与清昴智能发布基于众智FlagOS的国产Token工厂端到端推理优化方案并上线商用,主攻昇腾910C与GLM-5.3。
11月18日,千问办公电商版推出“品牌知识库”并面向所有电商商家开放,包含品牌档案、品牌参考集和品牌记忆三大能力,可统一生成内容调性。
11月17日,荣昌区委书记万容在新闻发布会上表示,“十五五”时期荣昌将重点干好“四件事”,依托平台培育畜牧新质生产力,以科技创新引领现代畜牧业迭代升级,打造具有国际影响力的畜牧科技策源地。
腾讯优图实验室研究总监孙星已离职。他本科毕业于南京理工大学,博士毕业于香港大学工程学院,2016年加入腾讯优图实验室,早期从事医疗影像AI研究,后转向多模态大模型、Agent与RAG等方向。