近日,特斯拉AI高级总监Andrej Karpathy在机器学习会议上透漏也在做一些 pseudo-LiDAR 技术研究,他认为虚拟激光雷达与真实激光雷达的差距越来越小了。
pseudo-LiDAR
最早提出“伪激光雷达”数据(pseudo-LiDAR)这个概念的论文,要追溯到2018年一篇来自康奈尔大学的技术论文,作者 Yan Wang 与 Wei-Lun Chao 均为华人,该论文提出了一种新方法来缩短纯视觉技术架构与激光雷达间的性能差距。
该论文通过改变立体摄像机目标检测系统的 3D 信息呈现形式,将基于图像的立体视觉数据转换为类似激光雷达生成的3D点云,通过数据转换切换成最终的视图格式。尽管在实验效果上,视觉还无法与激光雷达媲美,但这种新的低成本方法为视觉方案提供了一种思路。
在那之后的两年前,康奈尔大学等又陆续发表了基本该方法的视觉深度估计、目标识别,3D Packing等论文。有研究者发现,采用其新方法之后,该摄像机在目标检测方面的性能接近激光雷达,且其成本仅为后者的一小部分。以鸟瞰图而不是正视图来分析摄像机捕捉到的图像,可以将目标检测准确率提升 2 倍,从而使立体摄像机成为激光雷达的可行替代方案,且其成本相比后者要低很多。
特斯拉也在做类似研究
马斯克对激光雷达的态度是不言而喻的,他认为依赖激光雷达就像行走依赖拐杖一样。而近日,特斯拉AI高级总监Andrej Karpathy 于今年举行的机器学习大会透露特斯拉也在做一些“伪激光雷达”的研究。
在此过程中,他分享了特斯拉仅用少数几个摄像头即可达到传统激光雷达精度的方法的具体案例。特斯拉不断发展的解决方案中的秘诀不是摄像头本身,而是摄像头所构建的先进处理和神经网络,可以充分理解输入的范围和质量。通过不同方向的摄像头进行拼接,视觉深度估计,再投影到鸟瞰图,作为局部导航地图使用。同时,将画面的每个像素都进行深度估计,就像激光雷达点云一样,形成3D目标检测。
特斯拉基于摄像头的方法便宜得多,并且在硬件方面更容易实现,但是需要极其复杂的算法才能将原始摄像头输入和车辆远程信息处理转换有用的信息。