北京华贸盛德科技有限公司
BEIJING HUAMAO SHENGDE TECHNOLOGY CO LTD

基于XCZU9EG MPSoCs +MIPI相机的 AI的人工智能套件

发表时间:2024-07-17 00:46
基于XCZU9EG MPSoCs +MIPI相机的 AI的人工智能套件

一、基于Xilinx Zynq UltraScale+ MPSoC开发平台硬件介绍

       EdgeBoard是基于Xilinx Zynq Ultrascale+ MPSoC系列列芯片打造的一款深度学习加速套件,是个通用的神经网络加速平台,适用于所有能用神经网络来解决的场景,例如人脸检测/识别,安防监控,商场人流统计,工业质检,安防监控,停车场车辆识别等。

EdgeBoard板卡,神经网络加速平台,人脸检测/识别,安防监控,商场人流统计,工业质检,安防监控,停车场车辆识别


       高性能计算板卡EdgeBoard是基于Xilinx Zynq UltraScale+ MPSoC 开发平台的开发板,EdgeBoard采用Xilinx FPGA核心处理理器将多核ARM Cortex-A53和FPGA可编程逻辑集成在一颗芯片上。在EdgeBoard高性能计算板卡上搭载了丰富的外部接口和设备,方便用户的使用和功能验证。EdgeBoard高性能计算板卡分为上下主板相结合的设计理理念,分为Main-Board和Power-Board,在整板对外接口 大化基础上大大缩小主板的尺寸,方便客户直接将EdgeBoard集成到整机成品中。EdgeBoard内含模型嵌入工具包、AI加速工具包、嵌入式计算卡成品,其软硬一体的完整架构造具有强悍的终端加速性能。赛灵思FPGA高性能的加速引擎提供2.4Tops的强大AI算力,性能3倍于终端GPU、10倍于终端CPU、Resnet50实测可达到55FPS处理理速度,且方案商可以根据需要输入百度大脑预置或自定制模型。


主板结构与接口功能介绍:




开发板包含的接口及功能介绍:


序号

芯⽚或接口

说明

备注

1

FPGA

多核ARM Cortex-A53


存储设备




18

DDR4

4颗DDR颗粒,共2GB容量量


11

Flash

2颗QSPI   Flash,共256MB容量量


12

eMMC

1颗eMMC,容量量为8GB


4

MicroSD Card

⽤用于存储操作系统镜像和⽂文件系统,或者进⾏行行信息数据的存储等


视频输入接口




14

BT1120 Camera

BT1120   视频输⼊入接口,   ⽀支持1080p


视频输出接口




7

Display Port

视频输出接口,⽅方便便视频及图⽚片直接显示


⽹口




5

Ethernet

1000M以太⽹网接口,进⾏行行以太⽹网数据交互


USB接口




6

USB3.0

连接USB3.0设备


调试接口




10

JTAG

PL部分JTAG调试口


13

USB UART

PS部分调试串串口


预留扩展接口




15

UART

FPGA UART 接口,预留留与外部设备通信


16

USB&SDIO

FPGA USB和SDIO的扩展口,预留留与外部设备通信


电源




8

12V DC

开发板直流12V供电接口,防反接保护


17

Power CNN

12V直流供电接口,预留留与外部设备供电


LED灯




9

Power LED

12V直流电源指示灯,12V供电正常红灯亮


按键




2

Boot Mode Switch

⽤用来调节开发板启动⽅方式


3

Reset Switch

系统复位按键


二、MIPI接口的CMOS 影像传感器AR20-7022-F0

       CMOS 摄像模块是高精度相机的内置式组件,实现了CMOS 影像传感器与高度集成的影像处理器、嵌入式电源和高质量的非球面透镜组结合在一起,支持10-bit RGB RAW数据格式。其具有小巧的体积、高度集成的特点,降低了设计中对体积的要求,用于安防监控,人脸识别等等。

主要参数



产品图片



三、软件介绍



       EdgeBoard基于linux系统,整个开发过程就是一个linux应用程序的开发。应用程序获取视频输入,调用预测库加载模型,调度模型,驱动加速模块进行计算,加速模型运行,获得运行结果。

        内容目录:

       paddle-mobile /home/root/workspace/paddle-mobile paddle-mobile预测库

       driver /home/root/workspace/driver 驱动⽂文件

       smaple /home/root/workspace/smaple 示例例代码

       tools /home/root/workspace/tools 调试⼯工具




四、适配视频源

       图像输⼊入有BT1120(⽤用于海海思⽹网络摄像头),并口相机,MIPI(用于MIPI摄像头),USB(⽤用于USB摄像头)和以太⽹网⼝等高速输⼊入口。还有SPI,Uart通⽤用低速接⼝口与其它芯⽚片通信。 开发板上也有DP,HDMI口用于视频输出。

后续,还在完善工业应用,如Camera link、HD-SDI等接口。