通过与 Jira 对比,让您更全面了解 PingCode

  • 首页
  • 需求与产品管理
  • 项目管理
  • 测试与缺陷管理
  • 知识管理
  • 效能度量
        • 更多产品

          客户为中心的产品管理工具

          专业的软件研发项目管理工具

          简单易用的团队知识库管理

          可量化的研发效能度量工具

          测试用例维护与计划执行

          以团队为中心的协作沟通

          研发工作流自动化工具

          账号认证与安全管理工具

          Why PingCode
          为什么选择 PingCode ?

          6000+企业信赖之选,为研发团队降本增效

        • 行业解决方案
          先进制造(即将上线)
        • 解决方案1
        • 解决方案2
  • Jira替代方案

25人以下免费

目录

当MCU开始集成CNN加速器,电池供电边缘AI应用的春天来了

《韩非子·说林上》中有一句话,“失火而取水于海,海水虽多,火必不灭矣,远水不救近火也。”——指的是失火时用海水救火,虽然海水量大,但远离火场,起不到灭火的作用。

这句话用来形容当今的云计算与边缘计算同样适用,云端人工智能(AI)相当于大海,虽然水多、能力强,但对于特殊的场景终究远水解不了近渴;边缘AI则可以在如语音识别、人体数据分析等对实时性要求高的领域发挥重要作用。

由于物与物之间的互联会产生海量的数据处理需求,只有AI强大的计算能力才能够胜任,物联网(IoT)技术正与AI技术深度融合,产生AIoT的概念。如果将物联网比作遍布全身的周围神经网络,那么AI就相当于人的大脑。要达到类似于人类的智能,设备需要进行大量的矩阵运算,往往只有部署在云端的大型服务器才能够胜任。

由于物联网技术由于是物与物之间的互连,多数设备需要电池供电,并且数据在物与物之间的流通并不能完全依赖于云端,因此物联网通常意味着低成本和低功耗。这就使得AI技术与IoT技术的融合产生了一定矛盾与困难。

边缘AI也可理解为终端AI技术,较早起源于20世纪90年代的边缘计算。其中的边缘指的是物理世界和数字世界之间的边界,如各种传感器连接着真实物理世界和数字世界,构成一组组边缘节点;智能化的AI技术则使机器能够以之前完全不可能的方式来观察、聆听和感知世界。

过去,将AI推理布置到边缘意味着从传感器、摄像机和麦克风收集数据,然后将数据发送到云端实现推理算法,再将结果送回到边缘。由于延迟和能耗较大,这种架构对于边缘普及极具挑战。边缘AI的目的是让边缘节点也具备AI推理的功能,提供高级数据分析、场景感知、实时决策、自组织与协同等服务,解决上述问题的同时具备实时性好、带宽资源要求低、隐私性高等特点。

作为边缘端最常用的硬件,低功耗微控制器(MCU)可用于实施简单的神经网络运算,延迟虽然降低了,但只能在边缘执行简单任务。如果给MCU加上AI功能,可以将AI推理从云端推向边缘端,从而助力电池供电的人工智能和物联网设备发展。

“MAX78000就是一款带有神经网络加速器的超低功耗人工智能微控制器,支持电池供电的嵌入式物联网设备在边缘通过快速、低功耗AI推理来制定复杂决策。”在日前举办的ADI MCU Media Workshop上,ADI高级应用工程师辛毅介绍了ADI最新的边缘AI解决方案,与传统的软件AI方案相比,这种快速、低功耗的决策实施使得复杂的AI推理能耗降低到前期方案的百分之一以内,采用AI技术的电池供电系统可大幅延长其运行时间,有助于实现之前无法逾越的新一代电池供电AI应用。

通俗地来讲,AI设备可以“看到”、“听到”或“感知到”某个物体、声音或事件,并且像人类一样做出相应的行动。此前用传统的软件方法来实现AI,如果要识别一只猫,往往需要程序员编写一组规则来描述猫的特征,从而约束程序的运行,比如猫必须有尖尖的耳朵、三角形的鼻子和长长的胡须。

但实际情况和普遍规则相冲突时,大量例外情况给传统软件技术带来了巨大的困难。辛毅举例到,“比如从后面或者侧面识别一只猫,胡须和鼻子都看不见;比如一只纯黑的猫,在黑暗中无法识别;又比如猫被遮挡、品种是折耳或没有腿,软件方式都无法实现准确识别。”

但是AI技术可以通过海量的、不同的猫照片进行训练,进而提取出猫的深层次抽象特征。这些用于训练的照片既包括猫的普遍特征,又包含大量例外,从而有助于AI技术准确地识别出一张新图片中的猫。

“传统的软件方式是闭着眼睛,相当于盲人摸象,需要告诉软件所有猫的特征,费时费力且不准确;而AI技术相当于海量的学习过程,可以睁开眼睛看各种各样的猫,从而进行学习,训练好之后,看到新的猫图片就能马上判断,可以说是洞若观火。” 辛毅形象地形容到。

据介绍,通过集成专用的神经网络加速器,MAX78000可以在本地以低功耗实时执行AI处理,使机器能够看到和听到复杂的型态。由于MAX78000执行推理的功耗不到微控制器软件运行功耗的百分之一,大幅提高了机器视觉、语音和面部识别等应用的工作效率。

MAX78000的核心是专用硬件,其设计旨在最大程度地降低卷积神经网络(CNN)的能耗和延迟。该硬件运行时几乎不需要任何微控制器核的介入,操作的流线化程度极高,能量和时间仅用于实施CNN的数学运算。为了将外部世界的采集数据高效输入到CNN引擎,用户可使用两种集成微控制器核之一:超低功耗ARM Cortex-M4F 核,或功耗更低的RISC-V核。

ADI MCU产品线资深业务经理李勇表示,两个内核的工作是分配好的。M4F内部配有Flash和SRAM,主要处理应用和通信,而RISC-V是一颗采用32位精简指令集的小内核,主要配合CNN工作。“由于CNN工作时需要输入图片、声音、波形等原始数据,RISC-V内核会将数据搬运至存储空间,再用于CNN。经过硬件计算,CNN将原始数据通过矩阵乘法和加法得到特征值,再放入内存进行比对。”

据辛毅介绍,MAX7800X系列的数据加载和启动由MCU内核负责,而AI推理由CNN加速器专门负责。打个比喻,“对于AI处理而言,MAX7800X的两个微控制器内核就相当于专门负责买菜的妈妈,而卷积神经网络加速器则相当于专门做菜的爸爸。借助在芯片内部集成的卷积神经网络加速器就可以完成AI推理,不需要再通过互联网上传云端。”

由于MCU内核完成加载和启动后就不需要任何操作了,原则上不介入AI推理,因此功耗很低。两个硬件分工合作让MAX7800X系列一不需要联网,二支持电池供电,满足了边缘AI的要求。

李勇表示,MAX78000在功耗、速度、成本三个方面达成平衡。通常边缘AI可由通用MCU完成,也可由FPGA、GPU、DSP等专门的芯片完成。

比较常见的有基于Arm Cortex-M4的MCU内置DSP协处理器,这类方案需要数学方面的运算,适用于如屏幕分析等工业应用;纯MCU方案多采用8位、16位、32位处理器,相对较简单也会更节约晶圆空间,适用于家电、玩具、消费品等应用;MCU+RISC-V+FPG则适合更专业、更复杂的应用,RISC-V内核主要作为Sensor hub,如在可穿戴设备中,RISC-V可在Arm内核处于sleep状态时调取数据,等Arm内核唤醒时再对这些数据进行处理,“这种方案往往灵活度差一些,并且由于加入太多功能,针对普通应用时成本无法降低。”

由于独特的架构和分工,MAX78000与运行在低功耗MCU上的纯软件解决方案相比具备更高的数据吞吐量,速度提高了100倍,但成本只是FPGA或GPU方案的零头;相比MCU加DSP的方案,MAX78000的功耗不到该方案的百分之一。

“我认为这些方案各有特点,适用于不同的应用场景,按需配置。这也是为什么市场上有很多不同的CPU被大家采用。”李勇说到。

谈到ADI为何要在MCU中集成硬件CNN,而不直接采用通用MCU运行软件神经网络,李勇认为主要是因为功耗。以采用Cortex-M7核心的通用MCU为例,虽然主频高达200MHz,但MCU需要长时间全力运行CNN算法,导致功耗较高。“集成了CNN后可以很快计算出来,之后对应的设备便进入睡眠(sleep)状态,很大程度降低了功耗。我们认为,在未来的一些特殊边缘应用中,这是非常重要的特征。”

目前ADI的边缘AI解决方案MA7800X系列主要包含两款AI MCU——MAX78000和MAX78002,二者都基于Arm Cortex-M4F和RISC-V的低功耗微处理器,搭载专用的卷积神经网络加速器执行AI推理。MAX78000可支持多达3.5M的模型权重,MAX78002则支持多达16M的模型权重,后者不仅可以做到图像的识别,还可以进行复杂的视频分析。

MAX7800X系列的相关特性总结如下:

主要优势

应用场景

以MAX78000为例,辛毅将MAX78000、ADI通用MCU MAX32650和某竞品MCU执行相同AI推理所花费的时间和功耗做了对比,分别评估了MAX78000的人脸识别(图像识别、视觉识别)和关键字识别(音频识别、听觉识别)性能。从下图可以看到,不论是推理速度还是推理功耗,MAX78000在两项识别上的表现均优于MAX32650和竞品MCU。

鉴于AI开发的挑战性,ADI还提供支持资源和工具以实现平稳的评估和开发体验,包括数据手册、应用笔记、评估套件、参考设计、教学视频、工具和例程等。MAX78000 EVKIT#包括音频和摄像头输入,开箱即用的演示平台支持大字表关键词检索和面部识别。完备的文档可帮助工程师训练MAX78000神经网络,且采用其日常使用的工具TensorFlow或PyTorch。

在硬件方面,ADI已经发布了许多有关MCU的评估板、最小板和参考设计,支持KEIL、IAR、mbed、eclipse等专门的平台。

根据预测,2025年将有75%的数据产生在边缘侧进行处理,因此边缘AI可以在许多方面大显身手。李勇和辛毅介绍了MAX7800X在物联网设备上的各类应用。

实现视觉识别方面,可以用在考勤打卡、智能门锁等电池供电的物联网设备上的人脸识别;摄像头上集成MAX78002,可以实现垃圾分类、产品分装、快递分拣等功能,相关案例有鸡蛋计数相机、可识别冰箱内饮料数量的车载冰箱以及用于山火监测等。

MAX7800X系列的关键字识别功能,可以识别出用户的语音指示来进行操作,可以用在语音控制的物联网设备上,比如智能音箱、电动窗帘、智能照明等等。由于声音就是一种振动,MAX7800X还可以用于振动识别,比如工业检测领域。相关案例有可提取用户语音指令关键字的智能头盔、工业中的管道震动分析是否发生泄漏等。

文章来自:https://www.eet-china.com/

相关文章