Pavement damage on urban roads not only affects the appearance of the road surface and the comfort of driving, but also easily expands to cause structural damage to the road surface and shorten the service life of the road surface. If it is not repaired in time, it will cause local accelerated damage to the road surface, cause serious traffic accidents, and cause a large number of personal injuries and economic losses. In order to reduce such injuries and realize the sustainable use of urban roads, reasonable and timely road maintenance and management are particularly important, and road damage detection is the primary task of road maintenance and management. Therefore, this project designs an intelligent road damage detection system for urban roads based on 3D lidar and cameras, collects and analyzes road data in real time, and gives the damage results objectively and accurately.
The intelligent road damage detection solution we conceive uses multi-sensor fusion and uses FPGA edge hardware to accelerate processing and upload to the cloud server instead of manual detection. It can display the GPS location of road damage in real time, as well as accurate detection results. In addition, the road surface can be spliced to form a vectorized map, and the road surface condition index PCI can be calculated according to the size and shape of the defect, and maintenance personnel can be notified to make timely repairs.
Demo Video
Project Proposal
1. High-level project introduction and performance expectation
图1.1 整体方案示意图
1. 设计目的：
为了实现精准快速的路面缺陷与障碍物检测，我们希望利用DE10-Nano处理二维图像、激光雷达点云数据和IMU传感器位姿信息，来矫正激光雷达运动时产生的点云畸变，使得系统能够实时地快速获取精准的三维路面信息，达到检测路面缺陷和障碍物的目的。
2. 应用场景：
城市道路路面缺陷与障碍物不仅影响路面美观和行车的舒适性，而且路面缺陷容易扩展造成路面的结构性破坏，缩短路面的使用寿命；交通参与者在路面行驶中故意或无意产生的抛弃物、遗落物和散落物等障碍物，对道路行驶的车辆有致命的威胁，容易导致突发性事故的发生。如果修补清理不及时，一方面，路面缺陷会导致路面局部加速损坏，另一方面，路面障碍物影响道路正常交通秩序和行车安全，两种情况都可能引发严重的交通事故，造成了大量的人身伤害和经济损失。为了减少此类伤害和实现城市道路的可持续使用，合理及时的道路养护和管理工作显得尤为重要，而路面路况检测是路面养护和管理的首要任务。因此本课题设计了一个基于三维激光雷达和相机的面向城市路面的智能路面障碍物与缺陷检测系统，实时采集路面数据并分析，客观准确地给出缺陷与障碍物结果。
3. 目标用户：
本课题设计的智能路面缺陷与障碍物检测系统主要面向城市交通道路，将激光雷达点云与图像融合后的数据用于路面缺陷与障碍物检测，可全天候实时地进行数据采集检测。目前的路面缺陷与障碍物检测技术仍存在由于环境因素导致检测结果不准确、在不同的路面条件下需要对不同的算法进行测试导致移植性差以及实时性差的问题。我们构想的智能路面缺陷与障碍物检测方案利用多传感器融合并利用边缘端硬件加速处理并上传至云端服务器来代替人工检测，能实时显示路面缺陷与障碍物位置，并上传服务器进行更精准的识别，通知维修人员适时抢修。
2. Block Diagram
智能路面损伤检测系统利用激光雷达和摄像头两个传感器获取路面的点云数据和图像信息，并将采集到的道路损伤信息融合到SoC中，实现损伤检测并上传至云服务器。道路损伤检测系统的工作原理如图2.1所示。
图2.1 系统工作原理图
在实现传感器数据采集的过程中，采用3D激光雷达、摄像头和IMU三个传感器采集道路数据：激光雷达采集的距离信息用于检测道路损伤，相机采集的图像用于验证损伤，IMU采集的位姿信息用于校正点云运动失真。在数据融合中，利用传感器的是时空间同步，实现激光雷达距离信息到相机像素信息的转换。在损坏检测中，首先给出可能损坏的坐标信息，然后根据图像中相应位置的信息最终判断是否损坏。最后，将损坏数据上传到云端数据库，方便查看。
图2.2 系统硬件设计框图
图2.3 系统整体工作流程
3. Expected sustainability results, projected resource savings
以下列举需要达到的检测性能指标：
1.能识别出的缺陷大小
根据传感器的精度，需要能够识别出尺寸大于40mm*40mm*40mm的路面缺陷，以及路面上大于该尺寸的杂物。
2.识别准确率
全天候识别准确率需要达到90%以上。
3.识别耗时
预期识别一个路面缺陷耗时要小于100ms。
4. Design Introduction
公路作为最基础、最广泛的交通基础设施，是衔接其他各种运输方式和发挥综合交通网络整体效率的主要支撑，在综合交通运输体系中具有不可替代的作用。一方面，随着道路的运营年限不断增加，道路长期暴露在大气中，在自然灾害的侵袭和人为的破坏下，道路路面将逐渐产生各种大小不一的缺陷，如图4.1，这些路面缺陷将严重影响路面的承载能力、耐久性，以及车辆的行驶速度、燃油消耗、行车安全和乘坐舒适性。另一方面，道路上会出现交通参与者故意或无意产生的抛弃物、遗落物和散落物等障碍物，对道路行驶的车辆有致命的威胁，容易导致突发性事故的发生，如图4.2。如果以上两种情况没有得到及时的修补和清理，路面缺陷和路面障碍物都会造成人员伤亡，甚至更严重的后果。目前，主要的路面障碍物和缺陷检测还主要依靠人工检测，不仅耗时耗力成本高,并且定位难度大,缺少数据直观性。基于二维图像的道路检测方法，获取的图像受到光照、阴影等许多环境因素影响,可能会导致采集的图像灰度不均匀,进而使图像处理、分析和识别等操作的难度加大。而三维的道路检测方法，增加了距离信息，使道路具有空间结构，但无疑增加了算法的复杂度，大大增加了计算量，实时性比较差。
图4.1路面缺陷示意图
图4.2路面障碍物示意图
因此，为了实现城市道路的可持续利用，预防交通事故的发生，针对城市道路的路面缺陷人工难以检测、检测准确率不高实时性差以及路面障碍物人工清除不及时、障碍物定位难的问题，本项目拟设计一种面向城市道路的路面障碍物与缺陷检测系统，选取低成本准固态激光雷达搭载可见光相机、惯性测量单元（Inertial Measurement Unit）及车轮计等多传感器，集成在以低功耗的DE10-Nano板卡为基础的路面障碍物与缺陷检测系统上，实现高效、快速、精准的路面障碍物与缺陷检测。
DE10-Nano SoC开发板具有强大的并行计算能力和低延迟性能，能同时处理二维可见光图像、激光雷达点云数据和IMU传感器位姿信息等海量的数据，提高实时采集速率。而且SoC开发板作为软硬件平台，灵活性大，可以结合FPGA和HPS的优势，从而缩短开发周期。
5. Functional description and implementation
根据面向城市道路的路面障碍物与缺陷检测系统实现的过程，将系统实现分为以下五个模块：激光雷达点云去畸变模块、IMU传感器与车轮计融合模块、深度栅格地图生成模块、障碍物与缺陷检测定位模块以及雷达相机配准可视化模块。路面障碍物与缺陷检测系统整体方案如图5.1所示。
图5.1 整体方案示意图
1. 激光雷达点云去畸变模块
由激光雷达的工作方式可知，激光雷达扫描时同一帧中的数据点不是瞬时获得的，所以在小车快速运动或转弯过程中，点云数据会产生不容忽略的运动畸变。为了去除运动畸变对激光雷达数据帧的影响，我们选择惯性测量单元（Inertial Measurement Unit，IMU）来进行校正，获取一致性更好、精确度更高的激光点云数据。
激光雷达去畸变主要通过对陀螺仪和加速度计测量的角速度和线加速度进行积分，确定IMU的相对变换。在静止状态下估计 IMU的偏差，根据IMU的姿态在雷达两个连续姿态之间的运动中线性插值。其流程图如图5.2所示，首先读取激光雷达的初始时间和对应扫描点云，同时读取IMU数据，得到位姿信息，将IMU数据进行插值处理，从而获取激光雷达扫描到该数据点的对应位姿，以此将该点恢复到激光雷达初始坐标系下，获取去畸变的激光雷达数据帧。
图5.2 激光雷达去畸变流程图
对于激光雷达而言，采用线性插值法获取的同一时间戳的IMU数据能够最大程度上表示相对应的雷达数据坐标信息，然后通过矩阵变换得到初始时刻的点云数据，去除了运动畸变后的点云数据可以减少点云配准之间的误差和错误，大大减少地图的重影和错层，这将显著提高激光雷达点云数据的精度和质量。如图5.3实验对比所示。
图5.3 原始图和去畸变后的点云图
2. IMU传感器与车轮计融合模块
在小车运动过程中，会出现轮子打滑和累计误差的情况，如果单单使用编码器得到里程计，会导致小车定位精度较低，在轮子打滑的情况下，角度测量完全失效。为了获取准确、鲁棒的里程计信息，本项目引入IMU测量单元，通过拓展卡尔曼滤波对两个传感器信息进行融合，提高里程计测量的准确度。其基本思路如图5.4所示。
图5.4 拓展卡尔曼滤波融合算法思路
扩展卡尔曼滤波是一种基于概率分布和参数估计的最优线性递推估计方法，凭借测量误差、进行参数估计和校正，能够不断地逼近被估计状态和参数的真实值。具有计算量小、精度相对较高、运算速度快等优点。IMU传感器和车轮计通过扩展卡尔曼滤波，有效融合采集的位姿信息，弥补车轮计出现轮子打滑和累计误差的情况，得到更加准确的定位信息。其算法框架如图5.5所示。
图5.5 传感器融合框架图
最终车轮计和IMU传感器融合后的定位优化了单一的轮式里程计因轮子打滑或累计误差的情况下的偏差，有效的提升整体运动小车移动的定位精度，如图5.6所示。
图5.6车轮计轨迹和EKF融合后的轨迹对比
3. 深度栅格地图生成模块
由于单帧激光雷达点云非常稀疏，很容易导致漏检的情况发生。因此，需要累计多帧激光雷达点云数据来提高数据获取的密度。本系统通过将每帧点云的坐标全部转换到世界坐标系下来达到移动时能累计多帧点云的目的。为了进行后续的地图映射，首先需计算传感器自身坐标系OS 、小车坐标系OC和世界坐标系OM 的变换关系。各传感器安装固定在小车上，其自身坐标系OS 相对于小车坐标系OC的平移变换和旋转变换是固定不变的，即OS和OC之间的齐次坐标转换矩阵固定不变。小车坐标系OC相对于世界坐标系OM的变换关系则根据小车运动的实时定位结果计算得到齐次坐标转换矩阵T 。根据公式
可将激光雷达坐标系下实时采集的点云数据通过坐标系变换计算转换到小车坐标系下，再依据最新时刻的变换关系转换到世界坐标系下。之后采用二维栅格地图来存储采集到的点云，它将连续的位置空间细粒度地划分为高分辨率的栅格，每个栅格占1个字节，记录一个高度值，然后将激光雷达数据映射到地图上。最后获取车前面一定范围内的点云数据并转换成深度图像。深度图像生成流程如图5.7所示。
图5.7 深度图像生成流程
最终本系统分别生成实时的深度栅格地图和深度图像，如图5.8和图5.9所示。
图5.8 深度栅格地图
图5.9 深度图像
4. 障碍物与缺陷检测定位模块
缺陷检测借用了传统的图像处理手段，对地面的高度图进行处理。首先将激光雷达的三维点云数据投影到二维平面，形成1cm x 1cm的网格地图。由于激光雷达线束的稀疏性，需要对网格地图中缺失的数据进行填充，采用了高效的插值方法，然后对图像进行高斯滤波，以减少对激光雷达点云稀疏区域插值带来的影响。然后对图像进行自适应二值化，移除掉高度小于特定值和面积很小的区域，获取图像大致的连通域信息。接着获取连通域的中心坐标，寻找图片灰度在特定容限内的连通域。然后继续对连通域进行处理，滤除掉面积占比过大的结构、面积很小的结构、点云过于稀疏的结构。最后得到缺陷的待选框，根据区域的特征选取得到最终的检测结果，其流程如图5.10所示。
图5.10 图像检测流程
系统通过传统的检测算法实现路面缺陷物与障碍物的检测，指标为40mm*40mm*40mm，以及以上的障碍物与缺陷大小，如图5.11所示。
图5.11 路面障碍物检测图
5. 雷达相机配准可视化模块
可见光相机提供的色彩和纹理信息可直观显示图像的关键特征，本项目利用可见光传感器的优势实现道路缺陷与障碍物的可视化，通过路面缺陷与障碍物检测与定位模块获取得到雷达点云的三维信息投影到二维图像上，并通过矩形框标记路面缺陷与障碍物的形状大小与定位信息。
为了实现路面缺陷与障碍物的精准标记，关键是实现雷达点云和可见光相机图像的配准。本项目采用一种基于棋盘格平面的摄像机与激光雷达联合标定配准方法，主要分为内参标定和外参标定两个部分，内参标定是获取相机的内参和畸变参数，外参标定是获取相机和激光雷达的世界坐标和变换矩阵，将两者位于同一世界坐标系。
- 相机标定
单目相机利用针孔成像模型，将三维环境中的几何信息映射到二维像素平面。像素坐标与成像平面之间，三维坐标P(X,Y,Z)与像素坐标[u,v]之间的转换公式为：
单目相机成像由于透镜的影响会导致效果发生畸变，主要是径向畸变和切向畸变两种类型。对于相机坐标系中的点，一般通过5个畸变参数得到该点在像素平面上的正确位置，表示为:
其中径向畸变xdistorted和切向畸变ydistorted为:
通过黑白相间的棋盘格贴在平整的硬板上作为标定板进行标定，对标定板在位置、角度尽可能大的情况下进行拍摄，对标定板进行不同角度的拍摄，如图5.12所示。
图5.12 不同拍摄角度的标定板
通过MATLAB或标定算法检测与提取角点，最终计算角点的三维坐标，进行求解与优化，得到相机的内参和畸变系数。
- 相机和激光雷达的联合标定
激光雷达和相机联合标定，即求解激光雷达坐标系和相机坐标系之间的变换关系，主要方法是通过基于选取激光雷达与图像对应的匹配点进行联合标定，同时采集激光和可见光数据，使用木板的四个角点作为匹配点，如图5.13，分别记录角点的三维点云坐标与二维图像坐标，根据相机内参矩阵M、像素坐标Pi和三维坐标Pl计算得到外参[R t]。
图5.13 图像与雷达点云的四个角点
为验证联合标定的准确度，将点云投影到图像和给点云着色观察标定效果，如图5.14所示，可以看出两种数据在空间上基本吻合。
如图5.14 雷达相机联合标定验证结果
- 三维点云和二维图像投影变换
在得到可见光和激光雷达内参和外参的基础上，通过矩阵变换将激光雷达的三维坐标，投影到二维图像。两者之间的转换方程为：
具体地，表示为
最终，通过获取到点云坐标投影之后的二维图像坐标，在路面检测到缺陷与障碍物的位置，通过矩形框标记出来，实现路面缺陷与障碍物的可视化，如图5.15所示。
图5.15对应可视化显示
6. Performance metrics, performance to expectation
预期达到的参数指标：
1. DE10-Nano板卡接入激光雷达，并且处理速度达到10Hz；
2. 能实现路面有无缺陷与障碍物的实时检测，且检测用时小于100ms；
3. 能检测出40mm*40mm*40mm的障碍物和缺陷，且检测准确率能达到90%。
7. Sustainability results, resource savings achieved
本系统的设计方案是设计一个三维路面缺陷与障碍物检测系统，在松灵移动底盘上搭载激光雷达、IMU传感器，并通过移动底盘上的30V直流电源通过降压模块分别给激光雷达和DE10-nano板卡供电。DE10-nano接收点云数据、IMU数据、车轮计数据，并进行数据处理和检测，最终将结果传入PC端，实现路面缺陷与障碍物检测的可视化，并在外接PC端的可见光图像上标记，硬件设计框图如图7.1所示。
图7.1 系统硬件框图
根据软件流程图可知，首先进行多传感器的时间同步，当激光雷达、IMU及车轮计时间同步之后，接收每个帧的雷达点云数据，再通过IMU传感器和车轮计融合定位得到的位姿信息，将点云转换到世界坐标系。由于点云数据的稀疏性，我们将在固定的持续时间内采集点云，以10帧作为阈值，当等待10帧后，截取前方设定的矩形区域并转化为深度图像，最后传入检测模块，进行路面缺陷与障碍物检测。软件流程图如图7.2所示。
图7.2 软件流程图
8. Conclusion
为了实现路面缺陷与障碍物的检测，本团队设计了基于激光雷达的三维检测系统，搭载可见光相机、IMU传感器和车轮计等传感器，在DE10-Nano板卡上通过多模态融合实现路面缺陷与障碍物的检测、定位与可视化。但目前无法识别检测的对象，更好的解决方案便是DE10-Nano板卡通过实时检测出异常结果后将定位数据和图像发送给云端服务器进行更准确地检测识别。
0 Comments
Please login to post a comment.