采用FPGA计算SLAM算法中计算量最大耗时最多的图像特征点提取模块，对图像特征点的提取进行加速，然后将计算后的图像数据传入视觉SLAM算法中，使其具有更好的实时性和更低的能耗

Project Proposal

1. High-level project introduction and performance expectation

       目前大多数室内移动机器人使用的是视觉传感器的SLAM导航算法，其精度低，鲁棒性差，对于快速移动和环境纹理特征不明显的情况，机器人的位姿估计精度会骤然下降。于是提出在ORB-SLAM2算法的基础上，使用双目相机与IMU传感器耦合的方式进行状态估计。由于IMU不受外界环境的影响，在快速运动和低纹理环境中可以提供较好的估计。因为融合了IMU传感器的数据，使其算法更为复杂，整个系统的运行效率较低，系统在特征点提取上消耗的时间较多，于是可以采用FPGA对图像的特征点提取进行硬件加速，这样可以提升系统的运行速度，同时采用FPGA可以大幅降低系统的功耗，对于移动端的机器人来说是及其重要的。

      该设计主要用在服务机器人、扫地机器人、无人机以及无人驾驶汽车等等场合。

2. Block Diagram

使用FPGA将特征提取与匹配模块进行加速

3. Expected sustainability results, projected resource savings

主要比较CPU平台与CPU+FPGA平台对不同大小图片的特征提取点数与处理图像的速度，在特征提取点数上预计可以多提取8%的特征点，在处理图片的速度上预计可以提高90%以上。

如对于640*480大小的图片来说，CPU平台图像提取的特征点数为104个，而CPU+FPGA平台图像提取的特征点数为116个。 CPU平台处理该大小图像的平均速度为144(ms)，而CPU+FPGA平台处理该大小图像的平均速度只有11.2(ms)。

CPU+FPGA平台大大的提高了处理图像的速度，同时也提高了图像特征点提取的数量。

4. Design Introduction

目前大多数室内移动机器人使用的是视觉传感器的SLAM导航算法，其精度低，鲁棒性差，对于快速移动和环境纹理特征不明显的情况，机器人的位姿估计精度会骤然下降。奥布- 斯拉姆由于IMU不受外界环境的影响，在快速运动和低纹理环境中可以提供较好的估计。因为融合了IMU传感器的数据，使其算法更为复杂，整个系统的运行效率较低，系统在特征点提取上消耗的时间较多，于是可以采用FPGA对图像的特征点提取进行硬件加速，这样可以提升系统的运行速度，同时采用FPGA可以大幅降低系统的功耗，对于移动端的机器人来说是及其重要的。

该设计主要用在服务机器人、扫地机器人、无人机以及无人驾驶汽车等等场合。

5. Functional description and implementation

SLAM技术的定位不需要对环境进行改造，通过SLAM技术实现定位与建图后，地图可直接用于后续路径规划与导航，导航过程也非常灵活，不用任何滑轨等外部设施，在有障碍物的情况下可以根据地图进行主动避障。

要完成这个实验项目，核心点由这几个部分构成：前端相机特征提取和匹配，惯性测量单元的姿态解算，IMU与视觉融合位姿估计，闭环检测与全局优化。

1.采用RGB-D相机采集图像信息，对采集的图像信息提取特征点，然后将前后帧图像进行特征点匹配，滤除动态特征点。

2.用惯性传感器测出角速度和线加速度，然后进行IMU数据积分得出机器人的位置、方向和速度。

3.将图像特征提取和匹配的图像特征最IUM数据积分得到的位置、方向和速度信息进行融合。

4.采用G2O库对系统进行非线性优化

5.搭建OpenCL编程平台，在异构平台上实现整体的异构计算设计。

6. Performance metrics, performance to expectation

主要比较CPU平台与CPU+FPGA平台对不同大小图片的特征提取点数与处理图像的速度，在特征提取点数上预计可以多提取8%的特征点，在处理图片的速度上预计可以提高90%以上。

如对于640*480大小的图片来说，CPU平台图像提取的特征点数为104个，而CPU+FPGA平台图像提取的特征点数为116个。 CPU平台处理该大小图像的平均速度为144(ms)，而CPU+FPGA平台处理该大小图像的平均速度只有11.2(ms)。

CPU+FPGA平台大大的提高了处理图像的速度，同时也提高了图像特征点提取的数量。

7. Sustainability results, resource savings achieved

8. Conclusion