极佳科技、北京大学、理想汽车和中国科学院自动化研究所联合推出的recondreamer,实现了自动驾驶场景的自由视角重建与生成。该技术仅需单视角视频输入,即可构建逼真的4d世界模型,显著提升了渲染精度和可靠性,尤其在处理大范围视角变化(例如平移6米)时表现出色。

世界模型进入4D时代!单视角视频构建的自由视角4D世界来了  第1张

AIxiv专栏持续报道全球顶尖实验室的学术技术成果,促进学术交流。欢迎投稿或联系报道 (liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com)。

ReconDreamer突破了现有NeRF和3DGS等技术的局限性,这些技术在处理复杂驾驶操作和大幅视角变化时效果欠佳。ReconDreamer通过训练世界模型减少重建伪影,并采用渐进式修复策略,确保高质量渲染。

世界模型进入4D时代!单视角视频构建的自由视角4D世界来了  第2张

  • 论文链接:https://www.php.cn/link/649ecbcdbf3571a2a3197e021287efa1
  • 项目主页:https://www.php.cn/link/f812eab186eb17d72275bb38b918913d
  • 代码地址:https://www.php.cn/link/d4f457bca5d92483c063b48d7a33b36b
  • 论文标题:ReconDreamer: 通过在线修复构建驾驶场景重建的世界模型

技术方法

ReconDreamer的核心在于其世界模型DriveRestorer,该模型用于修复传统重建算法(如Street Gaussians)生成的视频中的伪影和缺陷。通过渐进式数据更新策略,从少量位移渲染开始,逐步扩展到大范围渲染,最终实现高质量重建。下图展示了ReconDreamer的整体框架,以及DriveRestorer的训练过程和渐进式修复策略。

世界模型进入4D时代!单视角视频构建的自由视角4D世界来了  第3张世界模型进入4D时代!单视角视频构建的自由视角4D世界来了  第4张世界模型进入4D时代!单视角视频构建的自由视角4D世界来了  第5张

DriveRestorer修复效果展示:(请参考原文链接中的视频)

渐进式修复策略流程图:

世界模型进入4D时代!单视角视频构建的自由视角4D世界来了  第6张

实验结果与对比

实验结果表明,ReconDreamer在复杂场景下(例如平移6米)的渲染质量显著优于Street Gaussians和DriveDreamer4D,有效消除了伪影,提升了时空一致性。用户研究也表明,ReconDreamer的渲染效果更受用户青睐(超过95%的投票率)。

世界模型进入4D时代!单视角视频构建的自由视角4D世界来了  第7张世界模型进入4D时代!单视角视频构建的自由视角4D世界来了  第8张世界模型进入4D时代!单视角视频构建的自由视角4D世界来了  第9张

(请参考原文链接中的视频)

团队介绍

极佳科技致力于发展空间智能技术,ReconDreamer是其在该领域的重要成果,为自动驾驶和虚拟现实等领域带来了新的可能性。

希望以上改写后的内容符合您的要求。 由于无法直接访问和显示原文链接中的视频,我只能用文字描述其内容。 请您自行访问原文链接查看视频效果。

以上就是世界模型进入4D时代!单视角视频构建的自由视角4D世界来了的详细内容,更多请关注科技号其它相关文章!