当前,人工智能的发展有两个主要路径,一个是沿计算机科学发展而来的深度学习途径,另一个是沿着模仿人脑发展而来的类脑计算途径。
类脑计算途径
这个方向是以模拟人脑神经网络计算为基础而发展出的一种新型芯片,通过模拟神经元和突触的典型特征,如存算一体、脉冲编码、异步计算、动力学模型等特点,希望通过这些模拟从而达到更高的智能水平。典型代表包括IBM TrueNorth、Intel Loihi 和基于ARM架构发展而来的SpiNNaker。
定义
总体来说,类脑计算可分为狭义和广义两类:
狭义的类脑计算是模仿大脑神经结构和工作原理而创新出来的神经形态计算(如SNN芯片设计)、SNN类脑模型、脑仿真、STDP学习方法和类脑智能应用,学术界称其为 Brain-like Computing(也称做Neuromorphic Computing)。
广义的类脑计算是借鉴脑的结构和工作原理,但又不局限对脑的模拟(SNN),还包括融合传统的人工神经网络(ANN)等具有更多类脑特征的异构神经网络,是一种融合当前计算机科学和神经科学的计算发展途径,学术界称其为Brain-inspired Computing。
人脑特性
结构:人脑由大量神经元通过突触连接在一起,每个神经元通过接受发送脉冲、建立新的突触,从而构建起一个庞大的计算网络。
工作机制:生物神经元主要由树突、轴突和胞体组成。树突负责收集其他神经元传来的信息并通过电流的形式将其传给胞体, 胞体相当于一个中央处理器, 树突传来的电流引起胞体膜电位变化,当膜电位超过一定阈值时,神经元将发出一个脉冲信号,通过轴突传给其他神经元。
只有当膜电位达到放电阈值才会激发神经脉冲传递信息,大部分的神经元在活动周期中都处于静息状态,从而实现大脑的超低功耗高效运转。
类脑计算如何模仿大脑的计算机制
与传统冯诺依曼架构下的计算机相比,人脑无法高效地进行精确的数值计算,但人脑的优势在于智能和高效。例如,自动忽略非必要信息,从而减少能耗;在处理信息的同时能够对其进行加工、理解、抽象和归纳。此类功能在识别物体,对视频、音频数据的理解等场景中均有体现。类脑计算就是以人脑为蓝本,实现新一代计算体系结构,主要思路是以事件触发(Event-driven)为运算机制,基于脉冲神经网络来仿真人脑,从而构造新型计算系统。
脉冲神经网络(SNN)
脉冲神经网络是受生物启发的新一代人工神经网络,以脑科学为导向,沿着脑模拟方向发展,以0/1脉冲序列表达信息流,编码里包含了时间信息;另外,神经元内部具有动力学特征,具有事件驱动、稀疏发放等特点。
主要特征
• 时序性(与ANN最大的区别)
通过脉冲编码将输入信息转换成脉冲序列信号,并在信息传递过程中维持脉冲之间的时间关系。因此,神经元具有微观的记忆特性。
• 事件驱动(事件驱动是实现稀疏计算的根本基础)
SNN中的神经元不会在每个信息传递的周期都被激活,只有当神经元膜电压积累到特定的电压阈值时才会放电(发放脉冲)。神经元激活后,会发放一个脉冲信号传递给其他神经元,其他神经元会根据这个脉冲信号增加或减少膜电压。
关键要素
任何脉冲神经元的设计都要考虑三个问题:神经元模型,更新连接权值的机制和神经元互联结构。
• 大脑中神经元模型与网络结构在人出生之时已基本形成,且在人的成长过程中几乎不会发生大的变化。变化主要体现在成长过程中与外界环境不断交互,获取新知识并与已有知识建立联系,从而提升问题解决和环境自适应能力。
• 基于脉冲神经网络的仿脑特性,其学习规则的构建处于次要位置,而对学习机制的模仿是脉冲神经网络发展和应用的关键。
• 如何找到一个兼具生物合理性和计算效率的脉冲神经元模型,以及如何建立脉冲神经元模型与AI任务之间的关系,是类脑计算领域的核心问题。目前学术界和产业界对于类脑计算的探索及前沿应用主要围绕SNN及其扩展的神经网络展开,因此我们将关注聚焦在SNN上。
新型存储器件-忆阻器
忆阻器结构简单、集成密度高,理论上一个忆阻器就可以实现一个神经突触的功能,可极大的提升突触密度,是从硬件层面实现类脑神经网络的高效方式之一。
对于忆阻材料,由于其可以仿真神经突触之间的突触强度,可一定程度简化神经元网络设计,但在算法层面上要研发更匹配的神经网络模型。
常见的忆阻器可以分为阻变忆阻材料(RRAM)、磁性忆阻材料(MRAM)、相变忆阻材料(PCRM)和其他新型忆阻材料等。
目前,热门的研究方向集中在RRAM和MRAM,其中已有公司在做RRAM的商业落地。
基于此,分析师认为RRAM有望率先走向技术成熟,并实现商业化转变。