智源研究院联合逆矩阵、北大、清华与北航发布了悟界·PhysCapBench,是首个同时覆盖三类视频的描述评测基准:第一人称操作、第三人称场景与手持夹爪示范,统一度量 Caption 对物理信息的覆盖与保真,英文名直译为跨领域物理视频描述基准。1500 段视频序列,三个领域各 500 段,多视角示范按同一次交互过程编成一段。它不只看描述是否顺畅,还要看保留了哪些物理信息、能否服务下游。三类数据各有分工:第三人称看物体运动、形变与环境变化,第一人称看人与物体的接触与状态转换,手持夹爪记录交互阶段与执行结果。
评价分七个维度,把「整体质量」拆成具体信息类型。参考描述由七名专业标注人员参与,从全局观察与事件定位入手,梳理参与对象、动作、接触关系与状态变化,再核对描述能否被画面证据支持。
两种口径
- 团队在世界模型预训练数据里看到,现有描述能概括场景与动作,却常丢掉运动、接触、形变与时序;这个缺口不只在原始短说明里,更长更流畅的自动描述同样会有。语言完整不等于物理完整。
- 软胶玩具是典型例子:受压、形变、卸载、回弹缺一不可。用物理描述时生成结果保住了立体形态与回弹趋势,用原始描述则压力解除后仍然扁平。
- 基准还检验下游,更完整的描述能改善视频生成与策略学习,让多源真实数据转成训练监督有据可依;但 1500 段、七名标注者的规模仍小,结论目前只在基准内部成立。
原文链接:https://www.leiphone.com/category/aijuejinzhi/KPwGklj93OeTbkrg.html
来源:雷峰网