当前位置：首页 » 行业动态 » Renesas采用RA8D1 MCUs的图形和视觉AI应用

Renesas采用RA8D1 MCUs的图形和视觉AI应用

来源：康比电子查看手机网址

扫一扫!

扫一扫!

浏览：- 发布日期：2024-03-13 10:22:24【大中小】

分享到：

Renesas采用RA8D1 MCUs的图形和视觉AI应用
视觉人工智能（即计算机视觉）是指允许系统感知和解释视觉数据并根据对这些数据的分析做出自主决策的技术。这些系统通常具有用于获取视觉数据的相机传感器，该视觉数据作为输入激活提供给在大型图像数据集上训练的神经网络以识别图像。视觉人工智能可以支持许多应用，例如用于故障检测的工业机器视觉、自动驾驶汽车、安全应用中的人脸识别、图像分类、对象检测和跟踪、医疗成像、交通管理、路况监控、客户热图生成等。
在我之前的博客中，利用业界最强大的Arm MCUs为您的边缘AI应用提供动力》中，我讨论了采用Cortex的强大RA8系列MCU的一些关键性能优势®-M85内核和氦气使其非常适合语音和视觉AI应用。如上所述，石英晶振更高性能的MCU以及更适合终端设备中使用的资源受限的MCU的瘦神经网络模型的出现，使这些边缘AI应用成为可能。
在这篇博客中，我将讨论一个基于RA8D1支持图形的MCU采用相同的Cortex-M85内核，并使用氦气来加速神经网络。RA8D1 MCUs提供了高级图形功能、传感器接口、大内存和强大的Cortex-M85内核的独特组合，用于加速视觉人工智能神经网络，使其非常适合这些视觉人工智能应用。
Renesas瑞萨进口晶振已经成功展示了氦的性能提升，在各种AI/ML用例中，氦的性能比Cortex-M7 MCU有显著提高，在某些情况下提高了3.6倍以上。
其中一个用例是与视觉人工智能解决方案的领先提供商Plumerai合作开发的人员检测应用程序。这种基于摄像头的人工智能解决方案已经移植并优化用于支持氦气的手臂®皮质®-M85内核，成功展示了RA8D1设备的性能和图形功能。
与Cortex-M7内核相比，该应用通过氦加速实现了3.6倍的性能提升和13.6fps帧速率，这对于没有硬件加速的MCU来说是一个强大的性能。演示平台以640x480分辨率从基于OV7740图像传感器的摄像机捕捉实时图像，并在连接的800x480 LCD上显示检测结果。该软件可以检测和跟踪摄像机帧内的每个人，即使部分被遮挡也是如此，并在实时摄像机显示器上显示每个检测到的人周围绘制的边界框。

Renesas采用RA8D1 MCUs的图形和视觉AI应用

Plumerai人员检测软件使用多层卷积神经网络，使用超过3200万张标记图像进行训练。占总延迟大部分的层是氦加速层，例如Conv2D和全连接层，以及深度卷积和转置卷积层。
相机模块提供YUV422格式的图像，该图像被转换为RGB565格式以在LCD屏幕上显示。集成在RA8D1上的2D图形引擎以256x192的分辨率调整RGB565的大小并将其转换为ABGR8888，以输入到神经网络中。然后，该软件将ARBG8888格式转换为神经网络模型输入格式，并运行人员检测推断功能。RA8D1上的图形LCD控制器和2D绘图引擎用于将相机输入渲染到LCD屏幕上，并在检测到的人周围绘制边界框并显示帧速率。人员检测软件使用大约1.2MB的闪存和320KB的SRAM，包括用于256x192 ABGR8888输入图像的内存。

基准测试是为了比较Plumerai的人员检测解决方案以及使用Arm的CMSIS-NN内核运行TFMicro的相同神经网络的延迟。此外，对于Cortex-M85，禁用氦气（MVE）的两种解决方案的性能也进行了基准测试。该基准测试数据显示了纯推理性能，并且不包括图形功能的延迟，例如图像格式转换。

Renesas采用RA8D1 MCUs的图形和视觉AI应用

该应用程序充分利用了RA8D1上的所有可用资源:
高性能480MHz处理器
氦用于神经网络加速
用于存储模型权重和输入激活的大型闪存和SRAM
用于捕获输入图像/视频的相机接口
显示人员检测结果的显示界面
瑞萨石英晶振还展示了基于RA8D1设备的多模态语音和视觉AI解决方案，该解决方案集成了视觉唤醒词和人脸检测和识别以及说话人识别。RA8D1 MCUswith Helium可以显著提高神经网络性能，而无需任何额外的硬件加速，从而为实现AI和机器学习用例提供了一种低成本、低功耗的选择。
瑞萨RA8D1微控制器组采用业界首款基于Arm的32位图形支持微控制器（MCU）®皮质®-M85（CM85）内核，在480 MHz时提供超过3000个内核点的突破性性能和卓越的图形功能，支持高分辨率显示和视觉AI应用。这些是通用MCU器件，适用于工业自动化、家用电器、智能家居、消费电子、楼宇/家庭自动化和医疗/保健细分市场中的各种高性能和计算密集型应用。
RA8D1 MCUs贴片晶振集成了高性能CM85内核和大容量存储器以及丰富的外设集，包括具有并行RGB和MIPI-DSI接口的高分辨率TFT-LCD控制器、2D绘图引擎、16位摄像头接口和多个外部存储器接口，针对各种图形和视觉AI应用的需求进行了优化。这些MCU提供176和224引脚封装。类似安全元素的功能内置了高级加密安全IP、不可变存储、真正的安全启动和篡改保护，可实现真正安全的物联网。

RA8D1 MCUs由灵活的软件包和一套全面的硬件和软件开发工具提供全面支持。

编码	品牌	描述	频率
603-25-173JA4I8	Renesas晶振	CRYSTAL 25.0000MHZ 12PF SMD	25 MHz
603-25-150JA4I	Renesas晶振	CRYSTAL 25.0000MHZ 8PF SMD	25 MHz
603-38.88-7JA4I	Renesas晶振	CRYSTAL 38.8800MHZ 12PF SMD	38.88 MHz
603-40-48JA4I	Renesas晶振	CRYSTAL 40.0000MHZ 12PF SMD	40 MHz
603-25-173JA4I	Renesas晶振	CRYSTAL 25.0000MHZ 12PF SMD	25 MHz
603-25-150JA4I8	Renesas晶振	CRYSTAL 25.0000MHZ 8PF SMD	25 MHz
603-38.88-7JA4I8	Renesas晶振	CRYSTAL 38.8800MHZ 12PF SMD	38.88 MHz
603-40-48JA4I8	Renesas晶振	CRYSTAL 40.0000MHZ 12PF SMD	40 MHz
278-24.8832-3SA2I	Renesas晶振	CRYSTAL 24.8330MHZ 10PF SMD	24.833 MHz
278-24.8832-3SA2I8	Renesas晶振	CRYSTAL 24.8330MHZ 10PF SMD	24.833 MHz
278-25.78125-1SA2I	Renesas晶振	CRYSTAL 25.7810MHZ 10PF SMD	25.781 MHz
278-25-336SA2I	Renesas晶振	CRYSTAL 25.0000MHZ 10PF SMD	25 MHz
278-25-336SA2I8	Renesas晶振	CRYSTAL 25.0000MHZ 10PF SMD	25 MHz
278-2578125-1SA2I8	康比电子	CRYSTAL 25.7810MHZ 10PF SMD	25.781 MHz
495-24.8832-2JB4I	Renesas晶振	CRYSTAL 24.8830MHZ 10PF SMD	24.883 MHz
495-24.8832-2JB4I8	Renesas晶振	CRYSTAL 24.8830MHZ 10PF SMD	24.883 MHz
495-25.78125-2JB4I	Renesas晶振	CRYSTAL 25.7810MHZ 10PF SMD	25.781 MHz
495-25-141JB4I	Renesas晶振	CRYSTAL 25.0000MHZ 10PF SMD	25 MHz
495-25-141JB4I8	Renesas晶振	CRYSTAL 25.0000MHZ 10PF SMD	25 MHz
495-2578125-2JB4I8	Renesas晶振	CRYSTAL 25.7810MHZ 10PF SMD	25.781 MHz
603-24-127JA4I	Renesas晶振	CRYSTAL 24.0000MHZ 12PF SMD	24 MHz
603-24-127JA4I8	Renesas晶振	CRYSTAL 24.0000MHZ 12PF SMD	24 MHz
603-25-150JA4C	Renesas晶振	CRYSTAL 25.0000MHZ 8PF SMD	25 MHz
603-25-150JA4C8	Renesas晶振	CRYSTAL 25.0000MHZ 8PF SMD	25 MHz