随着社会的发展，人工智能在人们身边出现的越发频繁，智慧景区以及智慧城市也是当前的人们发展趋势，本设计顺应需求，针对部分场景，如景区中的游客流量、游客、性别等基础信息的统计，或无人超市中人物信息的识别以及保存，并将这些数据备份、发送到云端，并在app中对部分数据进行实时更新，在做数据统计与分析时，利用云端中存储的数据，可以很全面且客观的分析出现状，这些工作靠人力实践是非常耗时耗力的。在必要时，还可调用出对象的信息和图像，对图像进行伪3D显示，大大提高了人们对图像的感知力。基于此类功能以及特性，本设计可广泛推广于安保、有人员统计需求类的场景。
本设计以 DE10-Nano 开发板为平台，结合当前最新推出的 DE10 云套件 RFS 子卡搭建了一款物联网系统，在此基础之上加入摄像头、液晶显示屏以及四片半透明介质，组合构成对象人物信息提取系统和佩伯尔幻像伪全息人物显示系统，并通过在arm核中移植linux系统以及在此之上配置的opencv和openvino环境对获取的图像信息进行处理分析，所得到的数据传回fpga，通过云系统发送到app，实现实时对部分数据的监控，每隔一段时间会发送数据到数据库储存供以随时调用。并可通过调用信息，读取对象人物的信息，选择对象的照片进行全息显示。

Project Proposal

1. High-level project introduction and performance expectation

     随着社会的发展，人工智能在人们身边出现的越发频繁，智慧景区以及智慧城市也是当前的人们发展趋势，本设计顺应需求，针对部分场景，如景区中的游客流量、游客、性别等基础信息的统计，或无人超市中人物信息的识别以及保存，并将这些数据备份、发送到云端，并在app中对部分数据进行实时更新，在做数据统计与分析时，利用云端中存储的数据，可以很全面且客观的分析出现状，这些工作靠人力实践是非常耗时耗力的。在必要时，还可调用出对象的信息和图像，对图像进行伪3D显示，大大提高了人们对图像的感知力。基于此类功能以及特性，本设计可广泛推广于安保、有人员统计需求类的场景。

    年龄、性别识别这样机械性、主观性较强的行为，机器视觉会有更好的效果。首先人眼有物理条件的限制，机器视觉的精度可达到按像素点来计算。其次，机器可以以相同的方法一次一次完成检测而不感到疲倦，而人眼会感到疲倦，在处理大量数据时，准确率也会下降。同时，面对性别识别这样的二分类问题，人眼可凭瞬间的判断便能得到答案，但面对与年龄判断这样主观性很强的行为，机器视觉通过大量训练样本，通过对真实图像数据的学习，会对图像有更加客观的评价，其准确率会大大高于人眼。对年龄、性别的检测在安全监控、刑侦案件、身份验证、人机交互等方面有巨大应用前景。同时随着人类社会的进步，人对视觉的追求并不会只局限于2D、局限于平面，而本设计提供的利用佩伯尔幻象原理形成伪3D画面也可满足人对于视觉享受的追求。本项目采用的DE10-nano开发板处理速度快、运算能力强、集成度高、开发成本低，也大大证实了本项目的可以发展性。

    选用英特尔 FPGA主要因为本校曾有参赛历史，教师有开发经验，且DE10-Nano是目前最流行的一种fpga开发板，利于我们的开发学习。

2. Block Diagram

3. Expected sustainability results, projected resource savings

  以目前的趋势，机器视觉可代替很大一部分人眼反复劳动，拥有更高的精确度、更低的成本。而本项目实现的功能在生活场景中能得到广泛使用，如当下流行的智慧景区，只需在景区入口处安装本系统，便可完成数据的统计与分析，对于旅游业的发展有不容小觑的作用；还有其他的如银行、无人超市等场景，在特殊情况时，年龄性别等信息可缩小寻找范围，伪3D显示效果更可以直观的获取人的形体外貌，全息显示作为目前最热门的图像行业之一，在未来也必然是大势所趋，可见本项目的良好发展前景。

4. Design Introduction

    本设计以 DE10-Nano 开发板为平台，结合当前最新推出的 DE10 云套件 RFS 子卡搭建了一款物联网系统，在此基础之上加入摄像头、液晶显示屏以及四片半透明介质，组合构成对象人物信息提取系统和佩伯尔幻像伪全息人物显示系统。

    在本设计的所有系统中，DE10-Nano作为总体结构的“心脏”，不断处理来自所有外设所获取的信息，由摄像头采集的图像信息通过OpenCL编写的一个特定IP核对对象人物的图像进行预处理，将处理后的图像通过h2f总线传输给arm核，由linux系统中训练好的人物信息识别程序分析图像，得到年龄、性别、身高等信息，同时统计已识别过的人数以及当前时间，并截取一帧对象的照片，进行人物的边缘切割处理、拼合，处理后的图像编号保存在sd卡中，其他信息也会以同样的编号由云套件传输至云端，且通过云服务器发送至app端，且在计算机端每隔一段时间会将数据发送至数据库更新储存。

5. Functional description and implementation

本设计能实现对人面部信息采集，预测人的性别与年龄并上传性别年龄信息与图片至数据库保存，后续可调用数据库中的图片，实现对人像的伪3D显示。本设计利用Intel的DE10-nano平台设计并制作了一款能实现人脸不同角度特征的检测与识别，将数据上传至数据库，并且利用佩伯尔幻象原理实现远程3D显示，作品首先利用摄像头采集头部两个方向的图像，将人脸的图像数据采集到DDR3的特定物理地址，再通过h2f总线将图像数据传到FPGA的图像处理IP核，该IP核为自定义IP核，能够完成图像格式转换、图像二值化、边缘检测等功能，作品通过OpenCL完成这些算法的设计，具有实时性强、处理速度快等优点。图像经FPGA预处理后，OpenCL输出的图像处理结果通过f2h总线传送给DDR3，SOC中的ARM读取这些数据，再利用卷积神经网络算法，对处理好的图像进行识别，得到预测的结果，并对人物两个方向的关键图像进行存储。后将关键图像送入FPGA中的四个自定义IP核实现图像二值化、边缘检测、图像分割、图像压缩及背景填充，后将处理后的图像送入SOC的ARM处理器，将图像分区域同时显示在一个朝下放置的HDMI显示屏上，在自制的的4片半透明介质中就能显示该人脸的伪3D图像。Linux中安装MySQL数据库并连接Navicat登录管理数据库，在Linux操作系统中将我们人脸识别的数据以及图片存储到MySQL数据库中，在数据库中通过建表将图片和对图片描述的数据相结合，在MySQL数据库中实现存储或者提取图片文件。

6. Performance metrics, performance to expectation

需要达到的性能参数：

1、年龄预估误差：6~7年

2、性别识别准确率：95%~96%

使用intel FPGA的好处：

1. 本项目需要使用卷积神经网络算法，数据处理量较大。DE10-nano超快的处理速度，强大的运算能力，保证了图像识别速度。

2. DE10-nano不仅性能强大，更具有集成度高、体积迷你等优点，保证了本项目系统的便携性。

3. Intel FPGA的开发环境友好，可以很好的缩短了项目开发周期，从而降低项目的开发成本。

7. Sustainability results, resource savings achieved

系统设计方案：本设计利用Intel的DE10-nano平台设计并制作了一款能实现人脸不同角度特征的检测与识别，并且利用佩伯尔幻象原理实现远程3D显示的智慧景区系统，同时系统还能够将游客的人脸特征信息，以及识别出来的年龄和性别信息通过connectivity cloud kit模块发送到云端，方便对景区实现智慧话的管理。本系统充分利用了DE10-nano中FPGA与ARM的高速并行运算的优势，作品首先利用摄像头采集头部两个方向的图像，将人脸的图像数据采集到DDR3的特定物理地址，再通过h2f总线将图像数据传到FPGA的图像处理IP核，该IP核为自定义IP核，能够完成图像格式转换、图像二值化、边缘检测等功能，作品通过OpenCL完成这些算法的设计，具有实时性强、处理速度快等优点。图像经FPGA预处理后，OpenCL输出的图像处理结果通过f2h总线传送给DDR3，SOC中的ARM读取这些数据，再利用卷积神经网络算法，对处理好的图像进行识别，得到预测的结果，并对人物两个方向的关键图像进行存储。后将关键图像送入FPGA中的四个自定义IP核实现图像二值化、边缘检测、图像分割、图像压缩及背景填充，后将处理后的图像送入SOC的ARM处理器，将图像分区域同时显示在一个朝下放置的HDMI显示屏上，在自制的的4片半透明介质中就能显示该人脸的伪3D图像。

硬件设计框图：见图片

软件流程：在FPGA中利用可编程逻辑单元，通过OpenCL编写了一个特定的IP核来完成边缘增强、轮廓检测、直方图均衡化等功能，将摄像头获取的图像送入FPGA中进行预处理，将经过预处理后的脸部照片送到SOC的ARM核中，使用深度学习概念中的卷积神经网路对人脸图像进行特征提取，根据提取到的特征，对待识别的人脸图像进行性别判断和年龄估计，最后根据标签分类及标签标注文件输出分类结果。

8. Conclusion