WonderPlay是一个新颖的框架，它集成了物理模拟和视频生成，可以从单张图像生成动作条件的动态3D场景。虽然先前的工作局限于刚体或简单的弹性动力学，WonderPlay采用混合生成模拟器来合成各种3D动力学。混合生成模拟器首先使用物理求解器模拟粗略的3D动力学，随后为视频生成器提供条件，以生成具有更精细、更逼真运动的视频。然后，生成的视频用于更新模拟的动态3D场景，从而闭合物理求解器和视频生成器之间的循环。这种方法能够将直观的用户控制与基于物理的模拟器的精确动力学和基于扩散的视频生成器的表达能力相结合。实验结果表明，WonderPlay使用户能够与各种内容的各种场景进行交互，包括布料、沙子、雪、液体、烟雾、弹性和刚体——所有这些都使用单张图像输入。代码将公开发布。项目网站：https://kyleleey.github.io/WonderPlay/

---

原文链接: http://arxiv.org/abs/2505.18151v1