马里兰大学计算机科学家Dinesh Manocha与百度研究和香港大学的一组同事合作，开发了一种如照片般真实的仿真模型，用于培训和验证自动驾驶车辆。与当前的游戏引擎或高保真计算机图形和数学渲染流量模式系统相比，新系统提供了更丰富，更真实的模拟。
Fig. View synthesis results and effectiveness of depth refinement
他们的系统被称为增强自动驾驶仿真(AADS，Augmented Autonomous Driving Simulation)，可以使自动驾驶技术在实验室更容易评估，也可以提高路测的安全性。
科学家们在2019年3月27日发表在《科学机器人》(Science Robotics)杂志上的一篇研究论文中描述了他们的研究方法。
“这项工作代表了一种新的仿真范例，我们可以在将它部署到真实汽车上并在高速公路或城市道路上进行测试之前测试自动驾驶技术的可靠性和安全性，”该论文的相应作者之一Manocha表示（Manocha同时任职于计算机科学，电气和计算机工程以及马里兰大学高级计算机研究所）。
自动驾驶汽车的一个潜在好处是，它可能比人类驾驶员更安全，因为人类驾驶员容易分心、疲劳和情绪化，做出会导致错误的决定。但是为了确保安全，自动驾驶汽车必须对驾驶环境进行评估和反应。考虑到汽车在道路上可能遇到各种各样的情况，自动驾驶系统需要在极具挑战的条件下进行数亿英里的试驾，以证明其可靠性。
虽然这可能需要几十年的时间才能在道路上完成，但通过计算机仿真可以快速、高效、更安全地进行初步评估。计算机仿真可以准确地表示真实世界，并对周围物体的行为进行建模。目前的仿真系统在还原真实的光环境和呈现真实的交通流模式或驾驶员行为这三方面仍存在不足。
AADS是一个数据驱动系统，它能更准确地表示自动驾驶汽车在路上接收到的信号。自动驾驶汽车依赖于感知模块和导航模块，感知模块接收和解释现实世界的信息，导航模块根据感知模块做出决定，比如转向哪里、是否刹车或加速。
Fig. The inputs, processing pipeline, and outputs of our AADS system.
在现实世界中，自动驾驶汽车的感知模块通常接收来自摄像头和激光雷达传感器的信号，这些传感器使用光脉冲来测量周围的距离。在目前的模拟器技术中，感知模块接收来自计算机生成的图像和行人、自行车和其他汽车的数学建模的运动模式的借号，只是对现实世界的一种相对粗糙的表达。因为计算机生成的图像模型必须是手工生成的，所以创建图像模型也是一个耗时耗财的事情。
AADS系统结合了照片、视频和激光雷达点云(类似于3D形状渲染)与行人、自行车和其他汽车的真实轨迹数据。这些数据可以用来预测其他车辆或行人在路上的驾驶行为和未来的位置，以计算出更安全的导航路径。
Fig. TrafficPredict evaluations
“我们用视频和照片来模拟真实世界，”Manocha说，“但我们也在捕捉真实的行为和运动模式。人类开车的方式不容易被数学模型和物理定律捕捉到。所以，我们从所有可用的视频中提取了真实轨迹的数据，并使用社会科学方法对驾驶行为建模。这种数据驱动的方法为我们提供了一个更加现实和有益的交通仿真模型”。
在使用真实的视频图像和激光雷达数据进行建模时，科学家们面临着一个长期的挑战:每一个场景都必须对自动驾驶汽车的运动做出反应，即使这些运动可能没有被最初的摄像头或激光雷达传感器捕捉到。无论照片或视频以什么样的角度或视角被捕捉到，都必须使用预测方法进行渲染或模拟。这就是为什么仿真技术总是如此严重地依赖于计算机生成的图形，也严重依赖于基于物理的预测技术。
为了克服这一挑战，研究人员开发了一种技术，可以将真实街道场景的各个部分分离出来，并将它们呈现为单独的元素，这些元素可以被重新合成，以创建大量真实的照片驾驶场景。
Fig. Novel view synthesis pipeline
通过AADS，车辆和行人可以从一个环境中平移到另一个环境中。可以根据不同的交通等级重建道路。每个场景的多个视角在车道变换和转弯期间提供更真实的图像。此外，与其他视频模拟技术相比，先进的图像处理技术可实现平滑过渡并减少失真。图像处理技术还用于提取轨迹，从而模拟驾驶员行为。
“因为我们使用的是真实世界的视频和真实世界的动作，我们的感知模块比以往的方法拥有更准确的信息，”Manocha说。“然后，由于仿真模型的真实感，我们可以更好地评估自主驾驶系统的导航策略”。
Fig. Comparison of traffic synthesis
Manocha说，通过发表这项工作，科学家们希望一些开发自动驾驶汽车的公司可以采用同样的数据驱动方法来改进他们自己的仿真模型，用于测试和评估自动驾驶系统。
参考文献：
[1] W. Li, C. W. Pan, R. Zhang, J. P. Ren, Y. X. Ma, J. Fang, F. L. Yan, Q. C. Geng, X. Y. Huang, H. J. Gong, W. W. Xu, G. P. Wang, D. Manocha, R. G. Yang. AADS: Augmented autonomous driving simulation using data-driven algorithms. Science Robotics, 2019.
材料由马里兰大学提供
