重磅 | 首个面向中国城市复杂气候环境的双雷达多模态数据集宣布开源

近日，清华大学与中汽创智科技有限公司共同发布了“4D成像毫米波雷达数据集Dual Radar”。该套数据集历经两年时间，开展关键技术攻关和数据采集，最终由数据堂完成专业的数据标注支持。

自动驾驶汽车安全运行需要可靠的感知算法，当前以相机和激光雷达为主的算法无法有效应对复杂气候环境下的挑战，而4D成像毫米波雷达具有全天时全天候的工作能力，是提升感知可靠性的有效途径。然而，目前尚缺乏针对中国城市复杂气候条件下4D成像毫米波雷达感知数据集。

清华猛狮无人驾驶团队本次发布了国际首个面向中国城市复杂气候环境的自动驾驶4D成像毫米波雷达数据集Dual Radar并免费开源，为复杂气候下的4D毫米波感知算法研究提供了一个新的测试基准。该数据集首次同时采集两种主流类型的4D雷达，可用于探索在不同雷达点云密度和噪声水平下的感知算法。

一、「Dual Radar」的来源

Dual Radar数据集采集车装备了相机、激光雷达和德国大陆ARS548 RDI及以色列Arbe Phoenix两种主流的4D毫米波雷达传感器，在国内城市复杂交通环境中多种气候（晴天、阴天、雨天等）和光照条件下（强光、弱光、逆光等）同时采集了图像、激光点云和两种4D毫米波点云多模态数据。采集总里程超过600公里，标注的数据由151个连续序列组成，每个序列持续20秒，包含10007个同步和注释的关键帧，标注了103272个的三维目标。数据集可用于自动驾驶感知算法研究，包括复杂场景下的三维目标检测和跟踪，并可用于探索4D毫米波雷达在自动驾驶感知中的应用。

Dual Radar数据集采集车▼

Dual Radar数据集典型场景及数据可视化（每一行代表一个场景。第一行：市区雨天；第二行：市区多云黄昏；第三行：市区多云夜晚；第四行：市区雨夜；第五行：白天隧道；第六行：夜晚隧道) ▼

本次Dual Radar数据集项目，数据堂凭借旗下4D标注工具，针对3D空间+时序维度进行标注，采用多种传感器融合的方式，轻松应对激光雷达、毫米波雷达、摄像头、机位图等多种数据类型。

二、以数据为中心的自动驾驶标注

本次实验中，数据堂为数据集中的每个对象提供了3D边界框、对象标签和跟踪ID。基于相机和激光雷达点云的时间同步帧进行标注，为每个对象提供的3D边界框是从激光雷达点云投影到图像上获得的。

此外，在标注过程中，不区分对象的动态或静态状态，为了同步不同传感器之间的时间戳，选择了精密时间协议(PTP)来使用GPS消息定时，使用时间同步设备来对齐多个传感器之间的时间。

在进行检测标注与追踪标注时，存在着以下几个难点，例如，对于给定的7个类别标签包括汽车、行人、骑行者、卡车、公交车、其他等，需进行LiDAR点云3D框标注。

难点一

3D标注框底部须贴合地面，不能高于地面或低于地面；如若不使用平台角度调整功能，容易导致包住地面或者不贴合地面；

难点二

如遇点云稀疏的目标物，标注容易出现方位脑补的错误；

难点三

标注框须贴合汽车，后视镜不得框入，加大了自动化辅助标注难度；

难点四

对于人行道、非机动车道上的物体不能出现任何漏标情况；

难点五

遮挡属性需要针对部分遮挡和大部分遮挡进行区分。

数据堂借助平台数据对齐和融合等功能，与平台内置的预识别标注技术相结合，在本次项目进展过程中，快速有效的提升了标注的效率和准确度。

三、关于团队

清华猛狮无人驾驶团队

清华猛狮无人驾驶团队是国内外最早在4D毫米波方面展开面向自动驾驶感知算法研究的团队之一，已在相机和4D毫米波融合、激光和4D毫米波融合方面取得进展。在自动驾驶领域著名的大规模数据集nuScenes三维跟踪评测榜单上排名第一（保持7个月），构建智能驾驶融合感知发明专利群（美国授权发明专利10项，中国授权发明专利50项），团队研究成果已发表在T-ITS、T-NNLS、T-VT、T-IV、Information Fusion、Pattern Recognition、CVPR、ICCV、ICRA、IROS、ITSC等自动驾驶知名期刊和国际学术会议上。

中汽创智科技有限公司

中汽创智科技有限公司聚焦智能底盘、氢燃料动力、智能网联3大业务领域。开展IBC集成制动系统、氢燃料动力系统、驾驶中央计算平台，下一代感知系统、人车路云信息聚合平台、固态动力电池、下一代智能座舱域控制器及信息安全等项目。迄今为止，公司已与地平线、驭势科技、芯驰科技、国家电投氢能公司及博泰车联网签署战略合作协议，加强优势互补，集合优势资源，推动前瞻共性技术发展，持续驱动行业突破创新。

除上述团队以外，上海智能汽车融合创新中心有限公司、上海友道智途科技有限公司、北京经纬恒润科技股份有限公司等均有共同参与。

四、结语

凭借多年数据处理经验与一站式数据解决方案，数据堂目前已与全球数百家自动驾驶企业达成深度合作，涵盖主机厂、造车新势力、一线科技公司、主流算法公司以及世界顶级Tier1厂商等。未来，数据堂将继续加大技术研发投入，不断完善AI基础设施建设，助力用户以更便捷方式训练与部署人工智能应用。

点击阅读原文，快速获取数据集！