当前，新能源汽车成为我国的支柱产业，而智能驾驶技术是发展新能源汽车产业的关键技术之一。近期，北京大学王选计算机研究所王勇涛课题组与合作者取得了多项智能驾驶技术成果。具体地，该团队针对自动驾驶场景感知问题，提出了4D毫米波雷达-环视相机多模态感知模型架构RCBEVDet、高效的3D点云感知模型预训练算法BEV-MAE，以及可用于驾驶场景环视图像合成的环视动态场景重建算法DrivingGaussian。上述成果被人工智能领域顶级国际会议AAAI 2024和CVPR 2024发表/录用，同时申请了多项发明专利。
1. 4D毫米波雷达-环视相机多模态智能驾驶感知模型架构RCBEVDet (CVPR 2024)
为了提升智能驾驶系统的安全性和鲁棒性，智能驾驶车辆通常采用多种模态的传感器获取场景信息进行感知，如环视相机、激光雷达、毫米波雷达等。其中4D毫米波雷达-环视相机多模态组合感知方案具有优秀的感知能力和较高的性价比，受到了包括新能源汽车国际巨头特斯拉公司等车厂的青睐。但是，由于4D毫米波雷达和环视相机模态间的巨大差异，如何融合这两种模态信息高精度且鲁棒地完成智能驾驶感知任务（如3D目标检测）具有非常大的技术挑战性。
针对该技术难题，王勇涛课题组与合作者提出了一个基于4D毫米波雷达和环视相机鸟瞰图（BEV）特征融合的3D目标检测模型架构RCBEVDet。如图1所示，该架构针对毫米波雷达的特性设计了一种高效的毫米波雷达主干网络（RadarBEVNet）进行点云鸟瞰图特征提取，提出了一种基于可形变的跨注意力机制进行毫米波雷达特征和环视相机特征融合。该架构对现有主流的环视相机3D检测器具有较强的兼容性，在显著提升3D目标检测精度的同时可保持实时的推理速度，且对模态信号丢失、干扰等情况鲁棒。如表1和图2所示，该架构在自动驾驶感知国际权威评测基准数据集nuScenes上取得了领先的毫米波雷达-多摄相机3D目标检测精度以及推理速度-精度综合性能。
图1. RCBEVDet架构图
表1. RCBEVDet在nuScenes上的3D目标检测精度对比
图2. 推理速度-精度综合性能对比
2. 高效的3D点云感知模型预训练算法BEV-MAE (AAAI 2024)
当前最先进的智能驾驶感知系统主要依赖激光雷达、毫米波雷达等传感器获取的3D点云信号对驾驶场景进行三维感知，但是标注大量用于感知模型训练的点云数据费时费力且代价昂贵。针对该问题，王勇涛课题组与合作者提出了一种高效的3D点云感知模型预训练算法BEV-MAE，可直接使用大量的无标记点云数据对感知模型进行预训练从而降低对点云标记的要求。该算法具体流程如图3所示：BEV-MAE首先使用鸟瞰图引导的掩码策略来对3D点云输入进行掩码；接着这部分被掩盖的点云将被替换为共享的可学习令牌；之后被处理过的点云依次输入到3D编码器和轻量级的解码器中；最后，轻量级的解码器将重建被掩盖的点云并预测被掩盖区域的点云密度。
图3. BEV-MAE算法原理示意图
图4. 训练开销-精度提升对比
表2. 在nuScenes上的3D点云目标检测精度对比
如图4所示，该算法在自动驾驶感知国际权威评测基准数据集Waymo上以最低的预训练代价取得了最高的3D目标检测精度提升，证明该算法的高效性。如表2所示，基于该算法，我们在自动驾驶感知国际权威评测基准数据集nuScenes上取得了领先的3D点云目标检测结果。
3. 面向驾驶场景环视图像合成的环视动态场景重建算法DrivingGaussian（CVPR2024）
环视相机已经成为当前智能驾驶系统的默认传感器，但是用于对应智能驾驶模型训练和测试的环视数据特别是Corner Case长尾数据获取较难且成本高昂。针对该问题，王勇涛课题组与合作者重点研究了基于三维重建的驾驶场景环视图像合成技术，首次提出了一种基于当前最先进的3D高斯重建技术的环视动态场景重建算法DrivingGaussian，实现了高逼真和一致的多相机环视图像合成。如图5所示，对于具有多个动态物体的驾驶场景，DrivingGaussian首先通过增量式静态3D高斯逐步建模静态背景场景，再利用组合动态高斯图建模多个运动对象，分别重建每个对象并恢复它们在场景中的准确位置和遮挡关系；然后进一步利用LiDAR点云先验辅助建模场景表征的几何结构，结合全局渲染合成具有更多细节的场景并保证全场景的一致性。如图6所示，该算法支持光照和天气变换、Corner Case仿真、车型变换等要求下的逼真环视图像生成需求。
图5. DrivingGaussian算法原理示意图
图6. DrivingGaussian合成环视图像结果示例