随着相机技术的发展，像素分辨率与帧率都得到了大幅度提高，由此需要处理的图像数据量也随之越来越大。在一些如地理信息、医学影像、卫星侦察领域，因数据传输通道变化不大，所以需要对传输的图像数据进行压缩后传输，并在终端解压缩进行图像还原。而在图像压缩中，JPEG-LS具有显著的优势，它比JPEG2000的算法复杂度更低，比JPEG的压缩性能更强。所以JPEG-LS算法具有硬件易实现，复杂度低，同时具有较好的压缩性能。
基于JPEG-LS的压缩目前多采用硬件实现方案，但其解压缩却多采用软件解码方式，而软解存在CPU资源占用过多、功耗较大以及处理实时性等问题，尤其在多路软解下问题更突出。据此提出本项目“基于FPGA的多路JPEG-LS无损解压缩”以满足多路视频解码的实时性。
项目拟采用多路并行处理结构，对接读取的云端多路图像数据。系统由多路相机、服务器、FPGA DE10-Nano套件以及其他配套电路组成，拟实现对4路1080p@50Hz的视频压缩码流进行实时解码。其中压缩码流与解压码流均通过网络与服务器互联。
该方案在JPEG-LS解压缩的速度上有较大提高，尤其在多路图像数据（高帧率、高像素）的处理时，效果更为显著。通过该项目的实施可以较好体现FPGA的重构性、实时性、低能耗等性能。

Project Proposal

1. High-level project introduction and performance expectation

基于FPGA的多路JPEG-LS无损解压缩

基于JPEG-LS的压缩目前多采用硬件实现方案，但其解压缩却多采用软件解码方式，而软解存在CPU资源占用过多、功耗较大以及处理实时性等问题，尤其在多路软解下问题更突出。据此提出本项目“基于FPGA的多路JPEG-LS无损解压缩”以满足多路视频解码的实时性。

项目拟采用多路并行处理结构，对接读取的云端多路图像数据。系统由多路相机、服务器、FPGA DE10-Nano套件以及其他配套电路组成，拟实现对4路1080p@50Hz的视频压缩码流进行实时解码。其中压缩码流与解压码流均通过网络与服务器互联。

在JPEG-LS解压缩的速度上有较大提高，尤其在多路图像数据（高帧率、高像素）的处理时，效果更为显著。通过该项目的实施可以较好体现FPGA的重构性、实时性、低能耗等性能。

英特尔作为半导体行业和计算创新领域的全球领先厂商，其生产的产品稳定且高效。项目所采用Terasic DE10-Nano套件搭载双核ARM Cortex*-A9 MPCore处理器并配备高速DDR3内存，丰富的接口设计使其具有超高的可拓展性以及自身拥有丰富多功能和云连接优势，提供了支持项目顺利运行的高性能。同时英特尔公司还为其提供了相关的技术支持，以便协助解决项目中遇到的各种问题。基于多方面的考虑我们最终决定使用英特尔的FPGA设备来完成项目。

2. Block Diagram

3. Expected sustainability results, projected resource savings

项目拟采用多路并行处理结构，对接读取的云端多路图像数据。系统由多路相机、服务器、FPGA DE10-Nano套件以及其他配套电路组成，拟实现对4路1080p@50Hz的视频压缩码流进行实时解码。

基于JPEG-LS的压缩目前多采用硬件实现方案，但解压缩却多采用软件解码方式，其串行工作方式利用CPU进行解码，导致资源占用过多、功耗较大以及处理实时性等问题，尤其在多路软解下问题更突出。相比之下，基于FPGA的实时并行工作方式在一个时钟内并行处理多个数据，而且可以同时进行多种运算，这种特点使FPGA处理图像码流的效率远高于软解，并且降低在解码过程中产生的能源消耗，所以FPGA在资源利用与解码效率方面更加具有高性能的可持续实施性。

据此提出的 “基于FPGA的多路JPEG-LS无损解压缩”对资源节约方面具有积极意义。

4. Design Introduction

本设计以友晶科技提供的DE10-nano开发套件为平台，以解决日益增加的图像数据，地理信息、医学影像、卫星侦察领域基本都需要对图像数据进行压缩后传输，并在终端解压缩进行图像还原。其中，JPEG-LS图像压缩标准是一种全新的无损/近无损压缩技术，其主要思想是：当前像素左上方的几个相邻像素作为当前像素的上下文，利用上下文来预测误差，利用一定的误差分布，对预测误差进行Golomb-Rice编码有以下特点：a）算法复杂度低；b）算法性能较好；c）易于硬件实现。JPEG-LS的上述特点正好有效解决了在图像处理方面的多路大数据解压缩问题，也是本项目的设计依据。

DE10-Nano 开发套件提供基于英特尔片上系统 FPGA 的硬件设计平台，将双核 Cortex-A9 嵌入式内核处理器与行业领先的可编程逻辑结合，实现强大的可重新配置能力与高性能、低功耗处理器系统配合，提高设计灵活性。英特尔 SoC 集成一个基于 ARM 的硬核处理器系统（HPS），由 800MHz ARM Cortex-A9 双核处理器和 DDR3 SDRAM、以太网、USB、SD 等外围设备组成；可编程逻辑端由 Intel Cyclone V SE 5CSEBA6U2317N FPGA 器件和外部 A/D 转换、HDMI、LED、按键等多种资源组成。设计采用的英特尔公司 SoC 芯片 Intel Cyclone V SoC FPGA，既拥有 FPGA的高速数据并行处理能力，又拥有ARM处理器灵活高效的数据运算和事务处理优势。

5. Functional description and implementation

随着项目进度的进展，目前未达到设计初期拟达到的设计目标。本设计利用Intel的DE10-nano平台设计并制作了JPEG-LS的解压缩系统，目前可进行单帧1920*1080的图像解码。作品首先将压缩的数据码流采集到DDR3中，再通过h2f总线将压缩数据传到FPGA的JPEG-LS解码IP核，该IP核进行解码的过程中，步骤涉及：计算得到对应梯度差值和符号、计算得到golk值、计算得到Errval_Mod值等，最后得到重建后的image[i,j]值，处理结果通过f2h总线传送给DDR3，随后ARM处理器读取处理后的数据，将送至上位机并将其存储为txt格式文件，通过matlab软件显示解码效果。

6. Performance metrics, performance to expectation

目前可进行单帧1920*1080的图像解码，JPEG-LS解压缩的速度上有较大提高，若在多路图像数据（高帧率、高像素）的处理时，效果将更为显著。通过该项目的实施可以较好体现FPGA的重构性、实时性、低能耗等性能。所以FPGA在资源利用与解码效率方面更加具有高性能的可持续实施性。据此提出的“基于FPGA的多路JPEG-LS无损解压缩”具有积极意义。

DE10-Nano开发板上完成，其 ARM+FPGA 的 SoC 架构配合丰富的硬件资源能够很好地满足系统对嵌入式平台主控芯片的要求。Intel FPGA以超快的处理速度解决大量图片数据的要求，保证了系统的解压速度。同时Intel FPGA提供了相关的技术支持，以便协助解决项目中遇到的各种问题。

7. Sustainability results, resource savings achieved

8. Conclusion

基于JPEG-LS的压缩目前多采用硬件实现方案，但其解压缩却多采用软件解码方式，而软解存在CPU资源占用过多、功耗较大以及处理实时性等问题，尤其在多路软解下问题更突出。据此提出本项目“基于FPGA的多路JPEG-LS无损解压缩”，目前可进行单帧1920*1080的图像解码，JPEG-LS解压缩的速度上有较大提高。