信息来源： 人大高瓴人工智能学院 发布时间：2025年11月24日
「硅基温度-牛导力荐」栏目，每周力邀一位AI领域的顶尖导师，从浩如烟海的论文中，亲自为您挑选“必读好文”。它或许预示着一个崭新的方向，或许内藏着一个精妙的巧思。
在这里，让最具慧眼的领路人，带你穿透信息的迷雾，触摸AI未来的脉搏。
推荐人：孙浩
中国人民大学高瓴人工智能学院
教授 博士生导师
孙浩老师主要从事智能科学计算理论方法与前沿交叉研究。以第一/通讯作者在Nature Machine Intelligence（2篇）、Nature Computational Science、Nature Communications（3篇）等国际一流期刊和ICLR、NeurIPS、KDD、ICML等计算机顶会发表及录用论文60余篇，发表其他合作论文20余篇。先后获得福布斯北美30位30岁以下精英榜（科学类）、美国十大华人杰出青年、中国智能计算科技创新人物、AI100先锋青年等荣誉。
当我们谈论“世界模型”时，我们究竟在谈什么？
过去十年，深度学习的成就令人震撼。从图像分类，到机器翻译，再到大语言模型（LLM）几乎“统治”AI讨论。但当我们把视野从静态任务转向“真实世界”时，当大家都遵行模型“大力出奇迹的时候”，一个根本性的问题浮现出来：
AI真的理解世界吗？
我们可以参考这样的一个场景：
你在厨房切菜，一只苹果滚落到地上，沿着地板向冰箱底部滑去。你不用看第二遍，就知道苹果大概会停在哪里，会不会被椅子腿卡住，又或者它会撞到垃圾桶后改变方向。
1.人类对世界的理解天然是“对象中心”的。
我们不会把一段视频看成二维像素的流动，而是会通过眼睛的捕捉和大脑自动感知分离其中的事物：苹果、刀、砧板、地板、椅子、垃圾桶，甚至于天体行星，并推断它们的属性、运动趋势、交互关系、最终状态。但对传统神经网络来说，一段视频就是：一个巨大的、随时间变化的像素张量。没有对象，没有物理规则，没有因果，更没有世界。于是，近年来最重要的研究趋势之一出现了：
图1 人类对世界的理解天然是“对象中心”的
图片来源：NASA
对象中心学习
（Object-Centric Learning）
让机器像人一样，把世界分解为“对象”，并围绕对象构建可推理的世界模型。
2.为什么是“对象中心”？
传统方法在动态场景中的“局限性”
把一个视频输入给 visual transformer，问它：“桌子上的瓶子被猫推倒后会掉在哪里？”
模型的表现通常是：
它能“看懂”猫
也能“看懂”瓶子
但无法推理“瓶子倒下后会怎样”
更无法预测轨迹
因为预测瓶子轨迹不是像素关联问题，是对象物理推理问题。
动态物理、三维结构、对象属性、交互……
这些都是世界的构成，而不是图像的构成。
图2 人和模型的区别
3.世界模型需要“结构化表示”
当今世界模型大多在动态场景面临很多难点：
如何让模型在复杂环境中“泛化”？如何保持物体的一致性？如何令生成更加的符合世界物理？
一个只从像素中学习动态的模型，在同一场景、同一视角、同一物体组合中表现良好，但换一个物体数量、颜色、甚至摆放方式，模型可能就会崩溃。
为什么？
因为它没有学会分离对象，没有学会独立建模对象的属性与行为。这正是 object-centric 方法的突破点。
4. Object-Centric 的核心思想
让模型学会“分而治之”
对象中心世界模型通常包含以下核心思想：
世界由可分解的“对象”构成。
在人类认知中，对场景的理解往往不是从像素开始，而是从“对象”开始。我们能在完全无监督或弱监督的情况下，将场景自动拆解为若干具有完整语义的对象：不仅包括桌子、椅子、球等实体；还可根据任务需求进一步细化为“人的身体部位”“可变形/刚性组件”“机械臂的关节”等。这些对象的共同特征是：可分辨、可追踪、可交互、可预测。
每个对象都有独立的隐空间状态。
对象不仅是视觉上的单位，也是世界模型内部的结构单元。每个对象都拥有自己的 latent 表示，如：对于一个苹果：位置、速度、形状、材质、颜色/纹理；对于一块布料：局部形变量、应力/应变状态、网格节点位置。对象级隐状态使模型能在抽象层面理解“它是什么”和“它会怎样变”。
世界的动态是对象之间的交互。
真实世界的变化不是像素在移动，而是由对象之间的因果关系驱动的：人推桌子 → 桌子移动并推到椅子；风吹旗帜 → 布料产生复杂形变；小球撞大球 → 交换能量与速度。对象中心模型正是把这种因果结构显式化。通过 slot attention、transformer 或 GNN 等模块，将整体动态拆解为“对象与对象之间的消息传递”。
这一机制带来两个关键优势：
更强的泛化性：对象数量变化不会破坏推理结构，因为交互是以“对象”为最小单位构建的；
更高的可解释性：模型的推理发生在对象之间，而非像素层面的隐式扰动，因而具有更清晰的物理与语义结构。
对象中心世界模型：从感知到推理的完整链路
1.动态场景对象的发现与追踪
如何在没有任何标注的情况下，从一张图或一段视频中自动“发现对象”？这一直是对象中心（object-centric）学习领域最核心、也是最具挑战性的问题之一。对于机器来说，输入只是像素矩阵，而不是“物体”、“关系”或“动态结构”。如何在这种情况下抽取出物体级表示，构建可持续跟踪的对象？
（1）早期的一些方法（如 PLATO 等发展心理学启发模型）采用一种直接但有效的策略：利用显式的空间指引（mask）对场景进行分解，让模型在教师信号的帮助下学习“哪些像素属于同一个对象”。这些 Mask 在训练中相当于一个“外部导师”，会告诉模型：“这里是一只猫”“那边是一张桌子”“这一块区域是背景”。在这样的强引导下，模型能够快速获得结构清晰、边界明确、跨帧一致的动态场景对象表示。
（2）无监督/弱监督的动态场景对象分离。SAVi 与 SAVi++等引入了 Slot Attention，用于在视频中自动发现并追踪对象。与“全程”强监督的 mask 指导不同，这类方法仅在第一帧提供极少量的弱监督信息（如 bounding box、segmentation mask），甚至在完全无监督的条件下，也能依赖视频的时空一致性与自监督信号自动完成对象分离。此外，其进一步利用光流等弱监督目标，使模型在动态场景中能够更加稳定地解析并跟踪对象。
（3）预测驱动更好的感知。认知科学的重要发现指出：在人类对动态场景的理解中，“感知”与“预测”始终相互促进。我们能够看清一个场景，是因为大脑不断向前预测；而预测得越准，又会反过来强化对当前场景的感知。例如，当看到一个球在桌面上滚动时，大脑会立即预估它的运动轨迹：它会滚向哪里？会不会掉下去？会不会撞到杯子？
正是这种预测—感知的相互增强循环使得人类能够在动态场景中自然地发现对象、追踪对象，并逐步构建稳定的一致性世界模型。
基于这一理论动机，我们提出了 STATM，旨在让模型通过更强的预测能力反向提升对象感知能力，从而在复杂动态场景中获得更稳定的对象级表示，并进行更好的预测。
图3 STATM的模型架构
STATM的贡献在于：
引入“记忆加持的时空注意力”，实现预测驱动的对象学习
模型在预测未来时，会自动利用历史信息推断物体的“身份”与“动态”，从而强化当前帧的 slot 表示。
引入记忆机制，实现长期对象“一致性”追踪
STATM 的记忆模块模仿人类的短时记忆，可在关键时刻保持对象身份不丢失：
相比之前的方法，STATM 能够在更长的时间尺度上维护对象的“持续存在性”与“身份一致性”。
将时空推理融入对象中心模型，获得对未来的因果预测能力
STATM 使用基槽的时空 Transformer 来建模对象间的时空关系，使模型能够推断“接下来会发生什么”，并显式学习因果结构。
这使得对象中心学习不仅只做感知，还具备了可解释的动态预测能力，特别适用于物理交互密集的场景，如布料、刚体碰撞、机器人操作等。
图4 感知与预测结果
显著提升对象感知在复杂场景下的鲁棒性
得益于预测驱动机制，STATM 对复杂场景更敏感、更稳健。它让对象中心学习从“被动感知”迈向“主动理解”：预测帮助感知变得更准确，而更好的感知又进一步提升预测。最终，STATM 在对象抽取、动态预测和下游 VQA 等任务中均取得显著提升。
2.对象为中心的物理交互及世界预测
世界模型：不仅要“看见”，更要“预测”和“规划”
以物体为中心的世界模型的核心目标，从来不只是完成“感知”。更关键的是：能否在对象级别利用当前世界状态去进行预测与推理。
因此，一个真正有用的世界模型，至少应支持以下几类下游任务：
围绕这些需求，已有工作尝试将对象中心表示与时空建模结合起来。SlotFormer 在对象中心学习模型提取得到的物体槽的基础上，引入 Transformer encoder 作为自回归动态模型，用于预测未来的对象状态，并进一步完成视频预测、视觉问答和行为规划等任务。
相比之下，STATM 再向前一步：它不再将“预测”视为感知之后的附属模块，而是通过带记忆的时空注意力，使预测反过来强化对象表示本身。换言之，STATM 通过“预测促进感知、感知支持预测”的循环机制，让对象中心学习从被动的场景解析迈向主动的世界建模，实现更稳健、更物理一致的动态理解。
人类有“试错”和“通识物理”，模型也应该有物理先验
如果把视角从模型拉回到“人类”，我们会发现还有一个关键差异：现实中，人类拥有大量“试错经验”和“通识物理知识”。
当我们再去观察一个新场景时，其实并不是从零开始的无监督学习，而是在一个已经内化了物理规律的世界模型上进行更新。这一点对 SlotFormer/STATM 这类纯“数据驱动”的对象中心世界模型来说，仍然是缺失的：
SlotPi 正是沿着这一点往前迈出的关键一步：把“通识物理”显式嵌入对象中心世界模型。在STATM的基础上提出了一个物理先验显式可微、同时保持对象中心结构的世界模型框架。
图5 SlotPi模型架构
它的核心设计可以概括为三点：
基于 Slot 的对象中心表示
SlotPi 并不重新发明对象抽取模块，而是复用上游的中心学习模型（STATM），从视频中抽取每一帧的槽表示，每个槽对应一个对象或对象簇。
Hamiltonian 物理模块
时空推理模块
最终的动态预测由“物理模块 + 时空推理模块”协同完成：
图6 流体–刚体耦合的预测结果
在整体任务上，SlotPi 不仅在标准数据集上完成了长时间步预测，还在构建的 包含刚体、流体以及流体–刚体耦合的真实数据集 上验证了：面对流体冲击刚体、刚体阻挡流体等高度复杂场景，SlotPi 仍然能保持对象一致性、合理的物理轨迹，并在 预测 和 VQA 任务 上都取得了优于现有方法的表现。
换句话说：STATM 让世界模型“会看、会预测”，而SlotPi 再向前一步，让世界模型“带着通识物理去看、去预测”。
未来展望
人类只需掌握最基本的概念如“颜色”“球”等，就能在动态场景中自然识别对象并精准标注。这是因为我们的大脑本身就具备对象分解、运动预测等内在的世界模型能力，而语言则为这些能力提供了组织、抽象和表达的途径。
未来，我们或许能够为 AI 构建类似的“语言—场景理解”统一框架，使模型能够在无监督条件下自动发现动态场景中的对象、保持跨时间的一致性，并凭借预测能力生成高质量的带标注数据。
这并不是要削弱语言模型的能力，而是让视觉、物理常识与语言能力形成自然衔接。正如人类在理解场景后，能够利用语言进行具有物体一致性的描述和创造，下一代多模态模型能否在完成理解的同时，为具备一致性和通识物理的内容生成提供支持，并进一步赋能搜索、推荐等多模态应用场景，都是值得期待的方向。
文字： 李健
解读论文list:
[1] Luis S Piloto, Ari Weinstein, Peter Battaglia, and Matthew Botvinick. Intuitive physics learning in a deep-learning model inspired by developmental psychology. Nature Human Behaviour 6, 9 (2022), 1257–1267.
[2] Gamaleldin Elsayed, Aravindh Mahendran, Sjoerd van Steenkiste, Klaus Greff, Michael C Mozer, and Thomas Kipf. Savi++: Towards end-to-end object centric learning from real-world videos. Advances in Neural Information Processing Systems 35 (2022), 28940–28954.
[3] Jian Li, Pu Ren, Yang Liu & Hao Sun. Reasoning-Enhanced Object-Centric Learning for Videos. In Proceedings of the 31st ACM SIGKDD Conference on Knowledge Discovery and Data Mining (2025).
[4] Jian Li, Wen Han, Ning Lin, Yu‐Liang Zhan, Ruizhi Chengze, Haining Wang, Yi Zhang, Hongsheng Liu, Zidong Wang, Fan Yu & Hao Sun. SlotPi: Physics-informed Object-centric Reasoning Models. In Proceedings of the 31st ACM SIGKDD Conference on Knowledge Discovery and Data Mining (2025).
Copyright ©2016 中国人民大学科学技术发展部 版权所有
地址：北京市海淀区中关村大街59号中国人民大学明德主楼1121B 邮编：100872
电话：010-62513381 传真：010-62514955 电子邮箱： ligongchu@ruc.edu.cn
京公网安备110402430004号