研究人员整合自动驾驶世界模型 旨在提高仿真中的驾驶场景重建能力

开发无需人类驾驶即可安全运行的车辆一直是人工智能研究领域的主要目标。由于仅在真实街道上测试自动驾驶车辆既不安全也不可行，因此其基础算法必须要在仿真中进行广泛的训练和测试。

图片来源：arXiv

尽管近年来用于训练自动驾驶模型的仿真平台有了显著改进，但它们仍然存在各种局限性。仿真技术主要分为两种：开环方法和闭环方法。开环方法中，输出（即模拟车辆的行动或响应）不会影响未来的输入数据，而闭环方法则是输出会影响后续输入，产生自适应循环。

开环仿真技术通常更容易实现，但它们无法适应被测试模型在仿真中的变化或错误。相比之下，闭环方法能更好地反映动态的现实环境，从而可以更准确地评估系统的性能，但其对计算的要求也更高，而且并不总是能呈现复杂的机动和新的车辆轨迹。

据外媒报道，来自极佳科技（GigaAI）、北京大学（Peking University）、理想汽车（Li Auto）和中国科学院自动化研究所（CASIA）的研究人员最近开发出一种新方法，旨在提高仿真中的驾驶场景重建能力。相关研究发表在arXiv预印本服务器上，概述了这种方法的基本工作原理——将自动驾驶世界模型的知识逐步整合到场景中。

Chaojun Ni、Guaosheng Zhao及其同事在论文中写道：“闭环仿真对端到端自动驾驶至关重要。现有的传感器仿真方法（如NeRF和3DGS）可根据密切反映训练数据分布的条件重建驾驶场景。然而，这些方法在渲染新的轨迹（如变道）方面存在困难。”

最新针对训练和测试模型的驾驶场景渲染的研究发现，整合来自世界模型的知识可以改善新轨迹的渲染。虽然一些整合世界模型的方法取得了有希望的结果，但它们往往无法准确渲染特别复杂的机动，如多车道变换。

Chaojun Ni及其同事的主要研究目标是开发一种可以改善这些动作渲染的新方法。他们提出的解决方案名为“ReconDreamer”和“Drive Restorer”，旨在通过训练世界模型逐步减轻复杂驾驶机动渲染中的不良效果。

Chaojun Ni、Guaosheng Zhao及其同事写道：“我们推出了ReconDreamer，它通过逐步整合世界模型的知识来增强驾驶场景的重建。具体来说，DriveRestorer通过在线修复来减轻伪影，并配有渐进式数据更新策略，确保更复杂动作的高质量渲染。”

研究人员已经进行了各种测试，以评估他们的方法在改进驾驶场景渲染方面的能力。测试结果非常有希望，因为研究人员发现ReconDreamer可以增强复杂机动渲染的质量，同时改善场景中元素的时空连贯性。

研究人员写道：“据我们所知，ReconDreamer是首个有效渲染大范围机动的方法。实验结果表明，ReconDreamer在NTA-IoU、NTL-IoU和FID方面的表现优于Street Gaussians，分别提高了24.87%、6.72%和29.97%。此外，ReconDemaner在大范围机动渲染中超越了使用PVG的DriveDreamer4D，NTA-IoU指标相对改善了195.87%，并且通过综合用户研究得到了验证。”

该研究团队提出的新驾驶场景重建方法很快可用于改进自动驾驶计算模型在仿真中的训练和评估。此外，它还能激发类似技术的发展，以增强复杂场景的渲染，包括可用于评估机器人和其他应用模型的场景。