随着无人机地快速发展与普及，在带来便利的同时，也出现了越来越多的“黑飞”事件，给国家和公众都带来了安全隐患和经济损失。如何反制无人机非法入侵的问题越来越受到各国的重视，而快速精确识别无人机是实现反制的关键。与通过图像识别的方法识别无人机相比，通过无人机辐射的电磁信号进行无人机的识别具有更宽泛的应用范围和更高的灵敏度。无人机所辐射的信号中，无人机与操作手之间通信的飞控信号必然存在，因此识别无人机遥控信号谱图是一个有效的解决方案。民用无人机的飞控信号一般采用跳频信号进行通信。跳扩频信号属于非平稳信号，可通过短时傅里叶变换 STFT 方法，将天线、接收机采集到的多个时刻的信号变换成信号谱图。然后利用卷积神经网络（CNN）在图像识别方面的优势，实现精准识别。
本项目基于以上分析，考虑将信号多特征提取与识别的思想适用于工程实现的无人机检测与识别算法。采用基于神经网络的无人机遥控信号识别监测算法，通过联合自适应信号检测阈值计算改进现有的阈值计算方法，并通过预处理操作来对抗窄带与宽带干扰，最后利用神经网络识别是否存在及其机型。借助 FPGA 高速处理性能，对算法进行流水线设计，完成了一套具有实际工程意义的无人机检测与识别系统，该系统具有库内多架无人机检测及型号识别，以及库外无人机检测功能。

Project Proposal

1. High-level project introduction and performance expectation

  无人机遥控信号可以利用短时傅里叶变换转换为谱图，因此就可以近似地将其等价为对于跳频序列谱图的识别问题。由于无人机遥控信号功率通常较小，当距离较远时，受天线、接收机性能约束，可能造成跳频序列捕捉不完整，传统的跳频特征提取方法难以适用，也难以通过提取到的跳频特征判断机型。此外，由于遥控信号功率较小，且背景噪声会随时间与场景变化，就要求遥控信号的频谱检测阈值，在低虚警概率下尽可能贴近背景噪声，同时必须是自适应的。而无人机遥控信号常用的 2.4GHz 与 5.8GHz 频段频谱环境复杂，容易受到 WiFi 以及窄带突发信号的干扰，所以如果要在工程中应用，算法须具有较强的鲁棒性。

  得益于Intel FPGA的高度集成性、灵活的配置方式以及并行处理能力，本系统信号处理的所有过程均在Intel FPGA中实现。Intel FPGA作为整个系统的核心部件，凭借其高集成度、低空间占用、低功耗等优势。在系统中它不但起到了信号采集、信号预处理的作用，他还可以用于加速CNN，使整个信号处理过程具有更优越的实时性。 由于其高并发性和高灵活性，可以大大提高算法的速度，为后续改进提供了很大的可能性。由于其低功耗、高性能和灵活性的优势，Intel FPGA 现已逐渐成为深度学习不可或缺的硬件部分。借助英特尔提供的OpenVINO加速包，开发效率和产品性能可以得到极大的提升和提升。这种方式相比传统的FPGA进行信号采集和预处理、计算机AI识别的方式具有集成度高、成本低、能耗低以及设计周期短等诸多优点。

  本项目的实施，将为发现、识别、查证“黑飞”无人机提供一种快速、准确、低成本的解决方案，为无人机识别领域开辟新的方向。

2. Block Diagram

  图１为本项目所提出的基于深度卷积网络无人机智能识别系统技术路线图。首先利用无线侦收设备对无人机的信号进行接收采样，建立无人机的信号数据库，然后将其转换为具体无人机型号（如大疆御air2、大疆精灵3S等）对应的频谱向量，归一化处理并作为神经网络模型的输入。根据样本的数据特征和卷积神经网络的特性，搭建并设计了深度卷积神经网络对无人机型号等参数进行识别分类。在训练阶段，通过之前建立的训练集和验证集来进行网络参数的优化与修正，通过卷积层和池化层对频谱向量进行相关特征的分析和提取。通过标签与输出结果的对比进行反向传播更新卷积网络参数，利用验证集对训练后的模型进行检验。在工程应用阶段，利用侦收设备实时采集不同的背景信号进行相同的处理，然后送入分类器进行识别，输出识别结果。

图1 技术路线图

整体实现结构如图2所示。

图2 实现结构

3. Expected sustainability results, projected resource savings

项目预期可以达到如下功能目标：

1. 探测频率范围：300M-6000MHz；

2. 探测识别功能：无人机侦测系统能识别指定型号无人机的身份信息；

3. 具备早期预警能力，无需无人机起飞，地面开机即可侦测，具备早期预警能力，频谱特征库可扩展。

  项目成果将会对无人机反制系统，包括无人机集群反制领域的军事应用奠定良好的基础，对基于人工智能的无人机信号探测、识别和反制产品的系列化产生重要影响。

项目的实现得益于Intel FPGA平台的以下优势：

  信号预处理与神经网络的高度融合使得信号处理和人工智能分类在同一个芯片上完成，降低了系统成本和功耗，提高了整系统的稳定性；高效的嵌入式内存，可以将BNN模型参数存储在高速的嵌入式内存中，大大加快神经网络计算过程；高并行度的实时计算使得FPGA上运行卷积神经网络的时间大大减少，整个系统满足了实时性应用在计算速度上的要求； Intel OpenVINO Tool Kit高性能深度学习框架支持，大大加快卷积神经网络在FPGA上的运行速，缩短系统开发周期。

4. Design Introduction

  不同种型号无人机的功率谱之间有一定的差异，同种型号无人机的不同飞行模式的功率谱之间也存在一定的差异，但是差异非常小，利用传统的信号识别方法难以进行准确的分类。卷积神经网络具有优异的分类性能，且随着各层神经元个数的增加或层数的加深，网络性能往往能得到有效提升，由此引入卷积神经网络深入挖掘其内在的深层特征来进行信号的区分。

  深层网络一般会比浅层网络效果更好，更深的网络能学习到更加复杂的表达，更宽的网络则意味着每一层映射能力会增强，但对网络整体性能的提升有限。由于不同型号的无人机遥控信号的谱图都存在差异，且随着数据集中无人机机型的完善，需要神经网络具有足够的分类能力，故选择采用更深层网络。而神经网络深度超过了一定层数后性能反而会出现退化，因此需要设计一种优化的神经网络，如图3所示：

图3 深度神经网络优化函数块

  图3中F(x)表示优化函数，记网络输出函数H(x) = F(x) + x，可得到

H(x) = F(x，{W_i}) + W_sx

  其中，函数 F(x，{W_i}) 可表示x通过多个卷积层， W_s 是为了保证式中 F(x，{W_i})与x维度相同而做的线性变换。由于优化块的组成包括两个隐层，包含如图3和图4神经网络 ResNet34 的基本单元Ⅰ、基本单元Ⅱ。

图4 基本单元Ⅰ

图5 基本单元Ⅱ

  神经网络识别遥控信号可避免跳频周期、速率等特征难以准确提取的问题。而加入上述优化函数结构能克服深层网络性能退化的现象，增强网络的分类和泛化能力，适用于多机型的遥控信号识别。图6为优化后深度卷积网络的结构图。

                        图6 深度卷积网络结构

  其中，pool代表 2×2 的最大池化层，avg pool 指平均池化层，Fc是全连接层，conv(3×3, d)代表卷积核大小为3×3的卷积层，d = 64、128、256、512 代表了通道数。网络包括 16 个残差结构和 2 个池化层，总计 34 层。 

  通过对特征提取的信号与预先存有无人机跳频信号的数据库进行一一比对，根据比对结果由计数器进行计数统计，上位机设定阈值并进行判断，当大于阈值则信号置高并判定为疑似无人机，从而完成单一频段识别。对于未在数据库中的无人机数据通过无人机跳频信号出现规律进行判断，设定已知无人机最短跳频信号持续时间这一特征值进行判断并由计数器计数，如果大于阈值便按地址依次递加写入伪双口RAM，当伪双口 RAM 写入完毕，依次递加地址进行读取。同时，对伪 RAM 读取出的数据进行相互对比，寻找其中相同数据并计数，根据无人机跳频信号在 800 万点数据中出现次数这一特征进行阈值设定，这里以已知无人机中最低次数值为阈值，并判断，如果大于阈值，则未知无人机信号置高判定为疑似未知无人机，从而完成单一频段未知无人机检测。经过预处理和STFT后的频谱通过如图8的方法滑动读入。

图7 滑动读入频谱快照

  宽带干扰信号的谱图通过预处理后，基本得到剔除，对无人机遥控信号检测影响较小。而对于包含定频或突发窄带干扰的谱图，在预处理后对无人机遥控信号检测基本不构成影响。通过对包含不同类型无人机遥控信号以及包含宽带干扰、突发窄带干扰、定频干扰的谱图Mt预处理后，得到由多类待测谱图Md构成的数据集，即UAV-STFT数据集。

  基于本项目所提算法具备良好的可扩展性，能够对所搭建的无人机射频信号数据库进行不断地补充扩展，进而实现多目标无人机的识别分类。

5. Functional description and implementation

  系统连续扫描 100MHz 带宽的频谱(单次最大扫描的带宽为 20MHz，本次实验将连续 5 个时刻的相邻的20MHz 频谱拼接)；中心频率依次选择为 2.44GHz与 5.775GHz，在这两个中心频率下可包含完整的遥控信号跳频点。经验证，在 50kHz、25kHz、1kHz的频谱分辨率带宽下均能较为准确的识别到无人机遥控信号及其型号。此外，在信号发射源产生窄带突发干扰、路由器产生 Wifi 宽带干扰下，均取得了较好的识别效果。算法具有较强的鲁棒性。实验中训练集共包含1980个样本，验证集443个样本，测试集500个样本。

  图8分别展示了两种机型与WiFi干扰的待测谱图Md 。

图8 待测谱图

  本项目基于卷积神经网络设计并实现无人机信号的感知识别分类算法，不仅可以起到预警的作用，还可以对其相应的无人机型号和飞行模式进行分类，依托人工智能技术为整治和应对黑飞无人机的不良影响提供关键技术支撑，进而合理解决无人机的黑飞和管控问题。

6. Performance metrics, performance to expectation

性能参数：

（1）探测频率范围：2.4GHz和5.8GHz；

（2）探测识别功能：无人机侦测系统能识别指定型号无人机的身份信息；

（3）具备早期预警能力，无需无人机起飞，地面开机即可侦测，具备早期预警能力，频谱特征库可扩展；

（4）探测距离：≥ 3km；

（5）探测角度：全方位360°；

（6）内置无线通信模块，支持多站交叉精准定位；

（7）首次截获时间：≤5s；

（8）支持同时侦测多架无人机；

（9）设备探测组件通过接收不同频率的电子信号，对无人机进行探测定向。

项目的实现得益于Intel FPGA平台的以下优势：

1. 信号预处理与神经网络的高效融合

  进行无人机信号识别时，无人机信号的采集、初步处理、STFT变换均需要借助FPGA完成。而Intel FPGA提供的OpenVINO深度学习框架，支持FPGA上的深度学习推理部署。这使得整个识别过程可以在单芯片内完成。不但减小了设备体积、降低了成本，还使得整个过程更加高效。

2. 高效的嵌入式内存

  嵌入式内存紧临DSP，从中取操作数速度最快，可以大大加快神经网络计算过程。Intel FPGA拥有足够大的嵌入式内存，可以将BNN模型参数存储在高速的嵌入式内存中，避免了从DDR中存取模型参数，同时这部分数据可以多次重用。

3. 高并行度的实时计算

  FPGA能高并行度完成大量重复计算过程。另外本设计使用了量化模型、流水线技术等加速与优化技术，大量使用逻辑计算与移位操作等底层计算方法充分开发与利用FPGA的计算能力，使得FPGA上运行卷积神经网络的时间大大减少。使得整个系统满足了实时性应用在计算速度上的要求。

4. Intel SDK OpenCL支持

  Intel为FPGA提供了非常高效的软件支持。OpenCL编程平台使用高级编程语言，使开发者可以不用过多的关注硬件实现，集中精力开发高效实用算法。使用OpenCL完成的工程可以方便的移植到其他FPGA平台，适应更多硬件系统。

5. Intel OpenVINO Tool Kit高性能深度学习框架支持

OpenVINO是由Intel提供的跨平台的高性能深度学习框架，使开发人员能够在云上（如TensorFlow，MXNet和Caffe等流行款框架）快速构建和训练人工智能模型，并将其部署到各种产品中，大大加快了系统的研制周期并节约了研制成本。其FPGA上的卷积神经网络计算使用了DLA(Deep Learning Accelerator)模块，实现卷积神经网络计算中的数据与计算的流水线并行，大大加快卷积神经网络在FPGA上的运行速度。

7. Sustainability results, resource savings achieved

系统设计方案：

系统主要由两块硬件板卡和FGPA中的软件三大模块组成：

  射频信号的采集由射频采集板卡完成，实现射频信号的采集、信道处理等，完成信号的预筛选，选取感兴趣频带内的信号，滤除无用信号。然后通过千兆网口传递给Intel FPGA板卡进行处理。FPGA中的软件分为三大模块，第一块是驱动及控制部分，实现信号的接收、解包、缓存、以及部分外围硬件的控制，最后将信号数据流传递给信号处理部分进行处理；信号处理部分对信号进行预处理、短时傅里叶变换（STFT）以及信号特征提取，最后传递给FPGA上构建的卷积神经网络进行识别；深度学习模块为借助OpenVINO部署在FPGA上的经过分类训练的CNN网络，完成无人机目标的检测、分类与识别。

8. Conclusion

       本项目针对民用无人机跳频信号通信信号特征，通过短时傅里叶变换 STFT 方法，将天线、接收机采集到的多个时刻的信号变换成信号谱图，然后利用卷积神经网络（CNN）在图像识别方面的优势，实现对无人机遥控信号识别监测算法，结合intel OpenVINO工具和高性能FPGA进行部署，实现了一种基于神经网络的无人机识别系统。