I、總體介紹

一、簡介：本項目是將計算密集型的任務從PS移動的PL中加速，好處有以下兩點：

1、高清視頻流的實時處理，60fps

2、釋放CPU的資源

二、Zynq Ultrascale MPSoC的架構：分三種系列，CG,EG和EV，EV有VCU，下面是EV的架構

主要資源有：

1、APU:四核ARM Cortex-A53 64bit CPU

2、RPU:雙核：ARM Cortex-R5 32bit CPU

3、多媒體單元 ：

1）GPU:ARM Mali-400MP2

2) VCU：Video encoder/decoder unit，最高可達4K/60fps

3) DisplayPort interface: 可達4K/30fps

4、高速外設：

5、低速外設

6、PMU(Platform Management Unit)：平臺管理單元

7、Configuration security unit (CSU)

8、6-port DDR controller with ECC：

supporting x32 and x64 DDR4/3/3L and LPDDR4/3

三、軟件系統架構

RPU-1讀取AXI-Monitor的數據通過IPC方法與APU通信，

多個核通信的方法是共享內存。

視頻數據流的來源

1、HDMI in PL

2、MIPI CSI-RX in PL

3、TPG in PL

4、USB Camera in PS

5、PS上軟件仿真的TPG

算法的類型：

1、2-D卷積

2、密集光流算法

輸出接口：

1、PS上的display port

2、PL上的HDMI

兩個接口都支持兩層，一層為video，一層為圖像，圖像層為GPU提供。

四、PL的框架

五、視頻的輸出格式：

II、Vivado工程

一、TPG流水線

1、格式：YUV:422

2、每個時鐘兩個像素：2 ppc (pixel per clock)

3、視頻blanking的介紹:

4、像素時鐘頻率計算的介紹：

二、HDMI輸入流水線

1、圖中的縮寫VPSS為視頻處理子系統IP，包含多種功能，如CSC，Scaling等可以只使用其中一種處理算法。如VPSS(Scalar)就是只使用視頻縮放功能。

2、輸出格式YUV4:2:2格式

三、MIPI CSI流水線

1、CSI-RX子系統輸出的是分量為10bit的Raw Data

2、通過AXI Subset Convertor轉換為8bit。

3、通過Demosaic進行插值,輸出為RGB888

4、通過Gamma進行伽馬校正（這個IP是使用查找表的形式實現的）

輸出仍為RGB888

5、通過 VPSS(CSC)進行圖像色彩校正，對比度增強的，輸出仍為RGB888

6、通過VPSS(Scalar)進行視頻縮放,轉換成YUV

7、最終輸出：

2ppc, enabling up to 2160p60 performance

四、2D-Filter流水線：使用SDSoC產生

、

1、系數由GP口和stream fifo、datamover給出

五、光流算法流水線

六、DisplayPort顯示流水線

1、一層是video，一層是graphics

2、DisplayPort最大兩lane，最大線速率為5.4Gb/s

3、使用PS-GTR作為收發器

七、HDMI顯示流水線

1、使用Video Mixer IP將圖像和視頻數據混合在一起，然後顯示。

2、Video的數據為YUV422,16bit，而圖像為ARGB,32bit

八、時鐘、復位和中斷

1、時鐘

2、復位

3、中斷

九、I2C拓撲

III、參考資料

1、ug1221

2、wiki.xilinx.com/Zynq%20UltraScale%20MPSoC%20Base%20TRD%202017.4

ug1221-Zynq UltraScale+ MPSoC Base Targeted Reference Design學習筆記