先放结论:从技术性能、实现难度和成本效益等角度综合考虑,在目前阶段激光雷达加视觉融合方案并没有展现出对纯视觉方案的决定性优势。
这里头其实非常复杂,涉及到两个路线的根本竞争。我尝试用最简单的白话给这个事情说明白。只能驾驶目前路线分歧最大的就是在采集上面,但是就目前的行业发展来看,堆料,堆硬件取胜基本是一条死路。
我们需要从目的入手,无论是激光雷达加视觉融合还是纯视觉方案要解决的问题是一样的,重建车辆周围的三维现实世界,以识别障碍物和可行驶空间。在2022年以前,YOLO等算法(You Only Look Once,或者You only live once,算法搞砸,你吃席)通过神经网络识别前方物体的类别和位置,但这类基于目标检测的办法存在漏检或误检的问题,尤其当遇到训练数据集中未涵盖的陌生物体时,可能完全无法感知(所谓“本体裂缝”问题)。
我想这个时候是激光雷达派占上峰的时候,毕竟你无法无限标定,现实中总是有训练集里没有的东西。纯视觉看起来是死路一条(如早期特斯拉未能识别横在路上的翻倒卡车等案例)。相较之下,激光雷达可以直接以激光点云形式探测到前方障碍物的距离和形状,而无需先识别物体类别,因此很多业内人士曾认为激光雷达方案更可靠——激光雷达直接输出三维点云,相当于在硬件层面构建出环境的3D模型,车辆只需知道“前方有东西”即可采取避让。
但是特斯拉在2022年前后推出了Occupancy Network(占用网络)算法,将视觉感知提升到了重建三维世界的新阶段。占用网络的思路是:不再执着于辨认物体是什么,而是将摄像头画面推断出一个三维体素栅格,在行车路径前方划分出无数微小立方体单元(voxel),预测每个格子是“空”还是被占据,以及被占据的话是静止物体还是动态物体。最大的好处就是不需要再去纠结前面是啥,即使传感器前方出现从未见过的异物(比如掉落的货物或动物),只要占用了空间,车辆就会将其视为障碍进行反应,而不必先分类识别它是什么。

这大大提高了纯视觉方案对异常障碍的探测能力,也是特斯拉敢于坚持纯视觉路线的重要技术底气之一。此外,特斯拉还将多摄像头输入融合,并通过端到端神经网络来联合完成感知、预测和规划,大幅提升了系统对动态交通环境的理解和反应能力。
激光雷达当然有着诸多优势,但是在目前技术条件下,激光雷达视觉融合方案问题更多,以至于未能表现出对纯视觉方案的显著超越,甚至在某些方面出现劣于纯视觉的情况。比如数据稀疏与远距分辨率有限。激光雷达的点云虽然提供3D信息,但点的角分辨率和密度有限,距离越远点云越稀疏。由于激光束发散和能量随距离平方衰减,激光雷达在远距离的探测能力急剧下降。在光线良好的情况下,对于200米开外的物体,一台高端的192线激光雷达所获得的信息量实际不如一台800万像素摄像头所看到的细节。
另外我认为最关键的是帧率低、时延高:大多数车规级激光雷达的扫描帧率在1020Hz左右(即每秒更新1020次,全视场扫描一周),显著低于典型摄像头视频30Hz甚至更高的帧率。这意味着对高速运动的远处物体,激光雷达点云的时空分辨率可能跟不上,测得的位置相对滞后或模糊,无法像摄像头那样连续细腻地捕捉运动轨迹。更高线数或固态激光雷达可以提高帧率,但同时也会产出海量数据。激光雷达每秒可能输出数百万点的数据,信息密度高但其中与驾驶决策相关的有用信息比例较低。处理如此庞大的点云数据对车载计算平台是沉重负担,需要占用大量算力和带宽。在总算力受限的前提下,引入激光雷达可能迫使系统在视觉感知和点云处理之间分配资源,增加延迟和不确定性,不当的融合反而削弱整体性能。
除了技术性能上的权衡,选择激光雷达融合方案还面临成本和工程实现方面的重大影响。激光雷达在汽车上的应用曾长期受制于其高昂的价格。早期一台高性能机械旋转式激光雷达(如Velodyne系列)单价高达数万美元,相当于装了一个“天价花盆”在车顶。但是我这里的讲,单体的硬件的贵,不再是制约的充要条件,这里马斯克早期的论断是错误的。我认为激光雷达更多的困境是在软件上。
当然,就算现在,激光雷达还是贵。摄像头模组只需几十美元,而高分辨率车规激光雷达往往要几百到上千美元,这还不包括安装和标定等额外成本。对于造车企业来说,在每辆车上增加一套激光雷达传感器意味着增加数千甚至上万美元成本(根据国内量产车型经验,单车成本增加约¥1~2万元)。这直接影响整车售价和利润率,在竞争激烈的市场中是一个重大的商业抉择。当然,随着技术的进步激光雷达的价格会进一步降低。但是即使如此,在可以预见的未来,其整体成本依旧显著的高于摄像头模组。
你可以选择堆料到L4,比如Waymo的无人车方案。Waymo采用了多激光雷达+多传感器的组合,为了追求安全冗余和全方位感知,其车顶和车身布满昂贵的激光雷达、雷达和摄像头。据估计每辆Waymo改装车的造价高达20万美元,主要成本正是那些先进传感器及其集成。这样的“堆料”方案虽然性能强大,但成本居高不下,目前只用于商业运营的无人出租车队,而无法推广到普通消费者市场。
此外,还有系统间同步的问题。在车辆上部署多种类型传感器,需要精密的空间标定和同步。摄像头与激光雷达有不同的坐标系和视场,需要在工厂校准安装角度,并通过软件实时对齐数据。一旦标定有偏差,可能出现感知误差(例如摄像头检测到物体但激光雷达点云没对上,反而引入幽灵障碍物)。保持多传感器长期可靠的校准也增加了维护成本——车辆颠簸、温度变化都可能使标定漂移,需要定期校正算法来补偿。
融合多源数据意味着感知算法更复杂。开发团队需要针对激光雷达和摄像头分别开发感知模型,然后设计融合策略(前融合、后融合等)。比如,常见做法是利用激光雷达点云进行三维检测、摄像头图像进行二维检测,再将结果融合。然而点云和图像的数据结构差异巨大,如何有效融合信息是学术和工程难题。融合不当可能导致信息冲突或不一致(如传感器意见不一致时系统如何取舍)。这大大增加了软件开发和测试的工作量,也可能引入新的系统失效模式。
引入激光雷达的代价,与收益在我看来是得不偿失的。
但严格来讲,这个事情尚未有定论。激光雷达也是一阵一阵的,16-18年左右,Waymo、通用Cruise等公司坚定走多传感器融合路线,测试车顶着显眼的激光雷达,以实现L4级别一步到位的无人驾驶。那个时候激光雷达是主流,2022年特斯拉FSD性能空前提升,大家又开始犹豫。24-25年随着新一代低价激光雷达量产和算力提升,激光雷达热又有所回潮,一些主机厂重新回到融合路线,希望借助更成熟的软件融合算法克服前期问题。
从实际应用出发,激光雷达最有价值的是在一些纯视觉存在短板的场景下提供冗余:例如极低光照的夜间高速行驶,摄像头因光照不足无法看清远处,但激光雷达不受黑暗影响,可以探测到前方远距障碍物,为车辆提供更长的反应时间。这就引出一个现实问题:为少数场景加入昂贵传感器值不值得?如果大部分时间摄像头已经足够用,偶尔遇到困难场景时系统可以通过降速或请求驾驶员接管来确保安全(例如黑暗乡道减速行驶,给驾驶员留出5-10秒的反应接管时间)。
在家用车领域,除非激光雷达价格大幅下降、融合算法取得突破,否则厂商更可能选择投入资源改进视觉AI算法和提高计算芯片性能,以走软件定义传感的路线。毕竟,人类司机只靠两只眼睛和大脑就能安全驾驶,未来的AI完全有潜力通过视觉加智能来达到甚至超越人类的水平。
星球号:美股带逛。
另外在这个问题的
回答下,有个叫 的题了个非常有意思的问题,他原话写的比较多,大概总结一下就是飞机上,也有多传感器融合,为什么就没有问题,这都是多少年的成熟技术了为啥车弄不了?你这是在找借口!鄙人不材,持有飞行执照,对于你讲的这些,我可是太熟悉了,这种典型的半懂不懂的我一般是拉黑,但是这个问题真的很有意思。我想解答一下。首先,我们要从两种不同的机制说起,飞机确实早就实现了自动驾驶,除了起飞不行,爬升,计划航路,下高,着落,尤其是CATIIIb 运行的机场几乎可以完全自动。但是飞机的航路比汽车简单多了,在机场地情复杂的时候还是人手操的。而汽车的自动驾驶,即使最简单的场景也比机场复杂了无数倍,这俩根本就不是一个量级的东西。一个最简单的例子,都不讲你说的传感器的事,我开个最简单的飞机,配备双向无线电,C模式应答机,ADS-B,基本是B级空域下最小安全配置。我要个Flight Following,目视规则,但接受ATC指挥,机场地面会根据地情繁忙程度,给我分配从机位到跑到的滑行道,比如从D划,上A,E,跑到11外等待。再复杂点可能会给出穿越运行跑道的指令,比如大一点的多跑道运行机场,当然因为这种指令也出过不少的事故征候,比如东航的跑道入侵事件。注意这部分100%人手操。这可能是飞机上最接近汽车驾驶了,你猜猜为啥这块没有AP。
好了,在我仔细观察之后,我跑道外等,发动机试车,舵面测试,然后上跑道,推车走你,你再猜猜这块为啥没有AP,以及空速活动,80节,V1,Vr,V2这些这些速度和检查又是为了什么。这些都是为了一旦有问题可以终止起飞,留在地上远好于飞上天,你再猜猜这些为什么不用AP代劳。
飞上天后,上升率证实,收轮,打配平,监控发动机读数,收襟翼做程序转弯,哦对了在提交飞行计划和放行的时候,ATC会给你使用那条跑道,以及离港程序,和时间窗口,你需要正确的FMC(飞行管理计算机)中输入正确的指令,以确保正确的飞行间隔。我再问问你如果你的AP需要这些才能工作,有谁会买。
之后确实可以接通AP,让它按照计划航路自己飞。但是如果前面有天气,有颠簸,有别的什么的,需要绕路,你得在LEGS页里头做调整,同时需要根据起飞前的高度层数据,机载的气象雷达数据,以及XM 卫星发来的最新前方气象,其他飞行员报告的航路情况,做出综合判断。这些你再猜猜为什么不用AP代劳。
好了到了目的地机场,你收听了ATIS(自动情况通播),主要是风向,修正海压(QNH)美国用的是英寸汞柱,尤其是从A级空域转到低高度层,使用相同的修正海压是确保高度间隔的重要手段,你再猜猜为啥这块不用AP代劳。
同时根据风向,选择进港程序,当然也可能直接给你。输入好了之后,飞机的AP会按照既定的程序飞,但是这个时候如果前方出现问题,复飞了,或者间隔的问题,你需要重新排队,这个时候需要重新做计划航路,你猜猜这个时候为啥不哦那个AP代劳。
这些几乎是每次飞行都会遇到的事情,飞机的AP只能程度连车的L2都达不到。所以你拿它来碰瓷也是着实有意思。
场景说完我了,讲讲硬件。为了实现这个能力,飞机有着大量的传感器,计算空速的皮托管/静压系统,负责航向的罗盘,GPS,INS(惯性IMU系统),监控发动机的燃气温度,叶片stage转速,油压,液压,等等,各个舵面的伺服系统,以及相应的处理单元比如AHARS 这类的大气处理计算机。
但是这里头有个本质的问题,飞机是需要各个维度的数据来正常飞行,这几个系统之间并不是并行的关系,这个跟雷达与摄像头互相打架完全是两回事。皮托管如果堵死了,飞机就没有速度信号,自动驾驶就无法工作,所以你看到的冗余更多的是子系统的冗余,比如两套,三套皮托管,双GPS,三套IMU系统,这些更多的是为了防止关键系统的单点失效而设置的,跟你的感知融合完全没有关系。所以你这纯粹是无理取闹。
为什么要这么多的备份,很简单,车坏了,你停路边就行,飞机只能尽可能的保证有一套能继续工作。同时要求数据源尽量独立,比如GPS和IMU系统本身有子系统冗余,同时还互为备份,因为在缺乏地标的时候,出现迷向迷航是空难的一个重要因素。惯导不依赖外部数据源,这样即使GPS信号受到干扰飞机依旧可以正常的导航。如果都是失效了,还有罗盘作为最终的备份选择。当然,我不指望你能明白,但是你可以看出来飞机的设计思路,跟你的所谓感知融合没有半毛钱的关系。
另外,系统多了,就有数据冲突的问题,飞机因为数据冲突出事可不是一次两次了,比较著名的:大韩航空007,因为INS/GPS模式设置错误,入侵苏联领空被击落。法航447,因为皮托管结冰,飞控备用律,左右杆输入不一致,数据冲突,最后失速坠海,还有因为检修时封住静压孔的胶带忘了取下来,导致飞机起飞后超速和失速警告同时响起,副驾又没有抖杆系统导致驾驶员失误判断食素警告为假飞机失速坠毁。
这就回到为什么大飞机对于空速的读取至少三套系统,因为飞机只要上天,空速有个最小值,否则就会掉下来。这个东西又没法像其他的数据那么好读取,至少在车上,速度表失效不是个太大的问题,所以需要2~3套空度管连接2~3套不同的大气管理计算机,独立做出判断,如果一个空速不可靠,决断系统可以忽略不可靠数据。
再一次的,这个你说的完全没有什么关系。
至于你后来说的什么L3要怎么样L4要怎么样,你就没想过靠边停车然后去4S店给修了么?这个没那么复杂吧,又不是飞机上了天了就下不来。
属实让人有点哭笑不得。