基于FPGA和云端计算的智能安防系统。
在数据端利用FPGA实时对摄像头采集到的图像数据预处理，然后将处理后的信息传入云端，利用云端训练好的AI模型中进行异常行为判断，然后将判断结果返回到FPGA数据端进行警示，报警等相关操作。

Project Proposal

1. High-level project introduction and performance expectation

本项目的设计针对于城市安防中的异常行为的智能检测。在原有的摄像头采集，人为判断异常行为的基础上提出采用图像识别，深度学习的手段进行智能的异常行为判断，较原先的方案在判断的稳定性，准确度上有提高。

设计的方案为采用FPGA把摄像头采集的视频流数据进行图像的提取，然后进行一些滤波，校正等数字图像处理手段，然后将图片传到云端服务器上等待处理。

云端服务器采用利用已经进行训练的深度学习模型进行图片的接收，将采集到的图片传入模型后进行判断和处理将结果返回到FPGA端口，如果判断发生异常行为，FPGA端口就会实行报警和警告处理。

下图为图片处理效果图，根据骨骼关键点的位置和角度的变化构建运动矩阵然后进行异常行为识别。

总流程如下，检测到异常行为后进行警报和预警方案的处理。

2. Block Diagram

利用FPGA的并行高速的处理速度和低功耗的特点，在原有的摄像头信息采集端接入FPGA图像预处理和传输模块进行图像初始的采集，考虑到模型的计算需要大量的算力，将模型部署于云端设备，将模型训练好之后进行输入图片的异常行为判断，把判断的结果进行分析处理后传回FPGA端进行现场的警示和警报处理，同时云端进行相关工作人员的通告来前往现场进行处理。

3. Expected sustainability results, projected resource savings

预计FPGA图像预处理端采用DE10-Nano 开发板进行图像处理和数据传输。

主要是利用FPGA进行一些图像的卷积计算和接口的数据传输。

云端的采用算力在GTX1080显卡相仿的加速显卡，cpu i5 9400。模型部署在云端进行数据的运算和结果的后处理。

模型的验证，模型处理端在Intel HERO平台上的处理速度可以达到30fps。

4. Design Introduction

本项目的设计针对于城市安防中的异常行为的智能检测。在原有的摄像头采集，人为判断异常行为的基础上提出采用图像识别，深度学习的手段进行智能的异常行为判断，较原先的方案在判断的稳定性，准确度上有提高。

设计的方案为采用FPGA把摄像头采集的视频流数据进行图像的提取，然后进行一些滤波，校正等数字图像处理手段，然后将图片传到云端服务器上等待处理。

云端服务器采用利用已经进行训练的深度学习模型进行图片的接收，将采集到的图片传入模型后进行判断和处理将结果返回到FPGA端口，如果判断发生异常行为，FPGA端口就会实行报警和警告处理。

采用的FPGA为DE10-Nano开发板进行图像的预处理。

5. Functional description and implementation

针对目前城市安防的异常行为识别的问题，提出了一个基于骨骼关键点的异常行为检测方法。首先对摄像头采集到视频利用FPGA进行图像预处理，然后将通过Associative Embedding算法进行人体关键点的提取。为准确描述人体运动，提出用运动特征矩阵进行人体运动描述，引入SVM分类器利用运动特征矩阵进行行为识别。

运动特征提取对于行为特征的描述采用传统的目标外接矩阵的长宽比，重心坐标等方法进行衡量需要对关键点坐标进行归一化处理来消除模型得到的关键点位置坐标受相机位置，图像分辨率等因素的影响，但归一化的方法实现起来难度较大，且判断结果受影响较大，也无法充分利用关键点坐标信息。本文提出一种新的运动特征提取方法，经过对各种行为过程中的关键点之间的数据分析，本文采用两手腕与肩部形成的向量与躯干向量的夹角角速度，两脚腕与膝盖形成的向量与躯干向量的夹角角速度，肘弯曲部分角速度，腿弯曲部分角速度这四个角速度的变化来描述人体运动描述。对于行为的描述采用目标检测的方法大多只能反映当前帧的运动情况，加入时间轴描述信息会大大增加计算量导致运行缓慢，本文基于骨骼关键描述运动特征，提出将每一帧中的每个对象的运动特征用一个向量进行描述，提取该描述对象10帧内行为的动作描述组成一个特征矩阵来描述行为，这样可以更好的利用数据，是描述更加可靠。一帧的向量，然后将10帧的向量合成特征描述矩阵。

本文采用SVM进行分类，SVM是一种典型的二类器，本文采用“一对一”方法训练多个SVM分类器进行行为分类，对N个分类通过构建n(n-1)/2个支持向量机，每个支持向量机训练两种不同类别的数据，最后分类的时候采取“投票”的方式决定分类结果。把选取的12类异常行为各截取数据3000帧，形成300的样本，总计3600样本作为训练集进行训练，采用SMO方法进行优化训练。

最终实现由现场摄像头采集，FPGA进行图像预处理，传入云端进行实时的异常行为判断，然后返回判断结果的系统流程。

6. Performance metrics, performance to expectation

预计FPGA图像预处理端采用DE10-Nano 开发板进行图像处理和数据传输。

主要是利用FPGA进行一些图像的卷积计算和接口的数据传输。

云端的采用算力在GTX1080显卡相仿的加速显卡，cpu i5 9400。模型部署在云端进行数据的运算和结果的后处理。

模型的验证，模型处理端在Intel HERO平台上的处理速度可以达到30fps。

FPGA可以进行快速的并行计算，适合图像的卷积滤波等预处理操作，然后在数据的传输上FPGA也由巨大的优势，相比PC端，FPGA的低功耗也适合实际场景的部署。

下面为不同平台的实验验证参数。

表1 硬件平台

不同平台功耗对比

7. Sustainability results, resource savings achieved

系统整体流程图

程序流程图

模型进行转化和结果分析流程图

8. Conclusion

智慧城市的建设中依赖视频监控进行信息的收集和判断，本项目采用了基于骨骼关键点构建出人体骨骼模型识别出人体姿态进行行为的判断和分析。为了更好的区分不同行为的区别本文提出的基于姿态检测的异常行为识别模型，采用关键点检测模型直接提出出高级特征，利用骨骼模型计算出人体运动时候的角度特征，然后为了提取关节轨迹变换特征，提出利用Hough变换描述骨骼的运动轨迹特征，让骨骼轨迹特征参与到姿态识别出，最后将两种特征送入LSTM模型中进一步分析提取然后进行异常行为的识别，解决了目前异常行为识别领域检测精度不足，检测速度慢的缺点。对于存在模型在实际应用中存在的部署困难的问题，本文提出CPU+FPGA的部署方案在Hore平台上实现，在模型速度和准确率之间有较好的平衡，其中在能效比方面有较大提升。