基于毫米波雷达点云和视觉信息差异性特征注意力融合的3D目标检测
DOI:
CSTR:
作者:
作者单位:

(昆明理工大学 信息工程与自动化学院 云南省计算机技术应用重点实验室,云南 昆明 650500)

作者简介:

沈 韬(1984-),男,教授,博士生导师,从事太赫兹技术和 智能感知与计算等方面的研究.

通讯作者:

中图分类号:

基金项目:

国家自然科学基金(61671225,61971208,61702128)、云南省应用基础研究计划项 目重点项目(2018FA043)、云南省中青年学术技术带头人后备人才项目(Shen Tao,2018)和云南省万人计划青年拔尖人才项目(云南省人社厅 (2018 73)资助项目


3D object detection based on attention fusion of millimeter wave radar point clo ud and visual information disparity features
Author:
Affiliation:

(Yunnan Key Laboratory of Computer Technologies Application,Faculty of Information Engineering and Automation,Kunming University of Science and Technology,Kunming,Yunnan 65050 0, China)

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    自动驾驶中传感器融合是感知系统的重要组成部 分,雷达点云信息和视觉信息融合可以提高车辆 的感知能力。然而现有的研究将雷达点投影到图像上时只是对雷达点简单的增加高度,无法 提供更加准 确的横向信息,缺乏空间信息。同时对两个模态只是进行简单的融合,虽然产生了一个联合 表征,但不 足以充分捕捉两种模态之间的复杂联系。文中同时增加了雷达点云的宽度来进行 空间信息增 强,另外设计了一种利用差异性特征注意力融合的方法,使两个模态进行跨模态交互融合。 本文在具有 挑战性的nuScenes数据集上对模型进行了评估,提出的模型的NDS评分和mAP分 别达到了46.3%和33.9%,体现了 优秀的性能。

    Abstract:

    Sensor fusion in autonomous driving is an important part of the perception syste m,and the fusion of radar point cloud information and visual information can improve vehic le perception. However,existing studies projecting radar points onto images simply add height to the radar points, which does not provide more accurate lateral information and lacks spatial infor mation.Simultaneous fusion of the two modalities is only simple,which produces a joint representati on but is not sufficient to fully capture the complex connection between the two modalities.In this pape r,we simultaneously increase the width of the radar point cloud for spatial information enhancement, and additionally design a method for cross-modal interaction fusion of the two modalities using differential feature attention fusion.In this paper,the model is evaluated on the challenging nuSce nes dataset,and the proposed model achieves 46.3% and 33.9% in NDS score and mAP,respectively,reflecting excellent performance.

    参考文献
    相似文献
    引证文献
引用本文

李艳,沈韬,曾凯.基于毫米波雷达点云和视觉信息差异性特征注意力融合的3D目标检测[J].光电子激光,2023,34(1):26~33

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2022-03-09
  • 最后修改日期:2022-04-18
  • 录用日期:
  • 在线发布日期: 2023-01-16
  • 出版日期:
文章二维码