技术实战

远红外热成像与微光可见光双流神经编解码融合:恶劣天气与无照暗夜工况下L4级自动驾驶全冗余三维环境感知 | 自动驾驶视觉

person
技术运营团队
首席算法研究员
远红外热成像与微光可见光双流神经编解码融合自动驾驶三维感知系统架构图

随着高阶自动驾驶系统加速从封闭园区测试迈向城市开放道路与全天候商业化无人干线物流运营,整个汽车工业正在直面长尾极端工况对系统安全边界的终极拷问。在晴朗白昼且道路标线清晰的标准测试环境下,基于传统可见光高动态摄像头与激光雷达的主流多传感器融合方案,已经能够实现高精度的车辆、行人定位与车道线追踪。然而,在真实的道路交通世界中,恶劣长尾气象工况无处不在:深秋夜晚高速公路上突发的团雾蒸腾、倾盆暴雨对挡风玻璃与镜头光学的严重水膜扭曲、乡村无照明道路上突然横穿马路的黑衣行人,以及进出隧道瞬间因光照剧变产生的‘瞬态盲区’。

在这些严苛场景下,基于光子反射原理的传统可见光摄像头几乎完全丧失了目标轮廓捕获能力;而昂贵的激光雷达在遭遇浓雾与扬尘散射时,同样会产生海量的噪点云团与测距虚警。如何构建一套不受光照明暗限制、具备穿透恶劣雨雾物理能力且成本可控的全天候全冗余空间感知系统,成为了无人驾驶迈向规模化商业化落地的最大掣肘。融合了长波红外(LWIR)热辐射感知与微光可见光的双流神经深度编解码网络,正在全面重构前沿 图像识别定制开发 在车载具身移动领域的技术标杆。

物理波段盲区与非结构化光辐射退化:单一光学模态的失稳断崖

要建立高鲁棒性的车载感知系统,首先必须从物理电磁波谱层面厘清不同传感器在极端气象下的失效机理。人类肉眼与标准工业可见光摄像头所依赖的电磁波段主要集中在三百八十纳米至七百八十纳米之间。这一短波长波段极易受到空气中悬浮水滴、雾滴以及尘埃微粒的强烈散射干扰(米氏散射强度与波长呈负相关关系)。当空气中悬浮颗粒粒径与可见光波长相近时,光线在传播路径上经历多次各向异性乱散射,导致接收端图像对比度断崖式跌落,远方障碍物完全融化在灰白色的噪波背景之中。

更为致命的是复杂的夜间动态光照:对向来车违规开启的高光远光灯,会在挡风玻璃和相机感光芯片上产生大面积强光晕光斑,使局部像素迅速达到电荷饱和极限并产生横向溢出,直接将正前方数十米内的行人和非机动车彻底隐蔽在高光阴影深处。相反,工作在八微米至十四微米波段的长波远红外传感器,其探测波长是可见光的数十倍,不仅能够轻松穿透微小雾滴的散射屏障,更纯粹依靠目标自身向外辐射的热温差信息而成像。即使在绝对无光照的漆黑旷野,只要生物体或机动车发动机存在与环境数度的微弱温度差异,其热辐射特征就能以极高信噪比被即时捕捉。然而红外图像同样存在空间几何分辨率偏低、缺乏车道线油漆涂料反射纹理等固有短板,如何将两者的物理优势互补融为一体,成为了攻克全天候三维感知的核心钥匙。

特征层双流交叉注意力与空间时变外参动态自适应校准

传统的红外与可见光融合往往采用简单的像素级加权平均或决策后处理投票,这种粗粒度融合在遭遇传感器安装视差或时间不同步时极易产生重影虚影,适得其反。先进的自动驾驶多模态中枢构建了端到端特征级双流神经编解码架构。在感知前端,可见光分支与红外分支各自运行专属的多尺度特征提取骨干网络,可见光骨干深度聚焦道路标线、交通信号标志以及精细微观几何边缘;红外骨干则全力提取发热动力源、人体生物躯干以及低照度物体的连续热场拓扑。

在特征融合瓶颈层,系统创新引入了双向空间交叉注意力引导机制(Cross-Attention Fusion)。红外特征图谱输出的热显著性空间先验,被作为动态注意力查询向量(Query)自发引导可见光特征图谱在被雨水模糊的暗部微观纹理中定向打捞目标轮廓;反之,可见光的高分辨率边缘梯度则作为空间几何锚点,约束红外热斑的弥散边界,彻底根除了由于红外传感器低空间分辨率导致的‘热晕漂移’假象。两股数据流在潜在特征空间中实现亚像素级的高维流形互补熔接,为最终输出高精度三维定向边界框构筑了极富韧性的表征底座,大幅拓宽了高级别 智能机器人感知 的作业气候视界。

面对车辆在恶劣坑洼路面剧烈颠簸引起相机刚性支架微米级形变导致的红外与可见光光轴失配,算法层在后台并行运转了基于特征一致性损失的无感动态外参自标定线程。该线程利用视场中动态移动车辆的瞬态位移矢量作为动态标定参照物,在纳秒级时间内自适应补偿旋转俯仰角与平移视差的动态微偏差,消除了硬件老化带来的长周期几何漂移。

信创车载计算平台上的张量编译优化与超低延迟三维边界框回归

在以时速一百二十公里疾驰的高速自动驾驶场景中,制动距离与系统响应延迟之间存在着残酷的物理正相关:整套感知流水线从传感器曝光完成到输出三维目标障碍物坐标的延迟每增加十毫秒,车辆的完全刹停距离就会延长数十公分,这在毫厘之间的生死极限下是绝对不可容忍的。整个双流神经网络必须在严苛的车规级算力功耗红线内保持超高刷新率。

研发团队深入国产自研高能效车载智能计算芯片的神经网络底层微架构,针对双流交叉注意力中繁重的高维矩阵相乘与反向映射展开了极限指令级优化。通过将连续的卷积层、特征归一化层与局部池化层在芯片片上SRAM内部进行深度循环熔合展开,大幅压减了双目图像在板载高带宽内存中的总线读写频次。配合针对车载应用优化的混合精度量化推理算子,整套双流感知系统在区区三十瓦功耗窗口下,稳定维持着每秒六十帧以上的全分辨率三维目标定位输出,端到端感知计算延迟被硬生生压缩至十四毫秒以内。

恶劣天气开放道路极端长尾工况真车实证

在某国家级智能网联汽车封闭测试场与跨省无人重卡开放高速干线的联合实测验证中,搭载该双流红外可见光感知系统的L4级无人驾驶车辆,接受了包括人工模拟十级暴雨强喷淋、百米重度浓烟盲区穿透、逆光远光对射以及全黑林区夜间穿行在内的全部极端科目严苛大考。

实车路测评估数据证明,在可见光摄像头被浓烟暴雨彻底致盲导致传统算法单模态检出率暴跌至百分之二十以下时,双流融合感知中枢对百米开外横穿马路的深色衣着行人以及无反光尾灯故障事故车的三维目标检出率依然保持在百分之九十九点三五的高位水平,三维几何距离定位误差稳定控制在百分之二以内,成功守护了无人驾驶车辆在全气候工况下的绝对安全底线。整车制造企业与自动驾驶解决方案提供商可通过 获取定制方案 展开针对特定车型底盘硬件架构的适配对接。

需要为您定制视觉方案吗?

我们的专家团队随时准备为您解决最具挑战性的视觉识别难题。

立即咨询专家