高阶神经处理input-adaptive MoS动态权重gydF4y2Ba_2gydF4y2Bamemtransistor闩gydF4y2Ba

1介绍gydF4y2Ba

越来越复杂的深层神经网络(款)和增殖应用在嵌入式计算使得传统架构和CMOS技术限制(gydF4y2Ba舒克拉et al ., 2021 bgydF4y2Ba;gydF4y2Ba纳斯林et al ., 2021gydF4y2Ba;gydF4y2Ba金正日et al ., 2020gydF4y2Ba;gydF4y2BaIliev et al ., 2019gydF4y2Ba)。因此,有一个精力充沛的兴趣探索替代技术和计算架构下实现颠覆性改善部署款严格的地区,权力,和延迟的约束。记忆电阻器是款最有前途的新兴的非易失性内存技术(gydF4y2BaPrezioso et al ., 2015gydF4y2Ba;gydF4y2Ba程et al ., 2017gydF4y2Ba;gydF4y2Ba李et al ., 2018gydF4y2Ba;gydF4y2BaAnkit et al ., 2019gydF4y2Ba;gydF4y2Ba王et al ., 2019gydF4y2Ba)。记忆电阻器可以存储的突触权重款密集多位数和可伸缩的横梁结构精度和被动电阻编程。此外,同一横梁可以用于“compute-in-memory”款的处理某些关键的计算。集成存储和计算在同一结构允许忆阻器闩,取代传统的数字加速器有限存储器带宽成为性能扩展的关键瓶颈(gydF4y2Ba陈et al ., 2016gydF4y2Ba;gydF4y2BaBasu et al ., 2018gydF4y2Ba;gydF4y2Ba金正日et al ., 2020gydF4y2Ba)。gydF4y2Ba

同时,款架构正在经历一个戏剧性的进化来提高计算效率。在过去的几年里,小说层如《盗梦空间》(gydF4y2BaSzegedy et al ., 2016gydF4y2Ba),剩余层(gydF4y2BaSzegedy et al ., 2017gydF4y2Ba),动态控制(gydF4y2Ba华et al ., 2018gydF4y2Ba)、多项式层(gydF4y2BaKileel et al ., 2019gydF4y2Ba),self-attention (gydF4y2Ba吴et al ., 2019gydF4y2Ba)和hypernetworks (gydF4y2BaHa et al ., 2016gydF4y2Ba)已经被添加到存储库的构建块款。因此,下一代款加速器的一个关键挑战是具有高通用性的处理流程有效地将各种款层映射到硬件电路。新兴架构使用额外的层超越经典的层,因此,他们可以同时关联多个变量来提高计算效率和表现能力。例如,hypernetworks (gydF4y2BaHa et al ., 2016gydF4y2Ba)集成应用程序上下文的预测,同时关联所有三个,即输入、重量、环境特性来预测输出。同样,复发性层封闭的复发性等单位(格勒乌)同时关联输入和体重对history-dependent复位向量点积使用阿达玛产品长期或短期记忆。gydF4y2Ba

而忆阻器闩的显著优点是可伸缩性gydF4y2Ba通过gydF4y2Ba二电极阵列,当调整他们使用同样的架构实施挑战等新兴款层。由于只有两个控制电极,忆阻器闩只适合经典款层只有两个操作数,即权重和投入,在给定的时间处理。忆阻器网格不能直接映射新兴款层必须同时处理多个操作数。记忆电阻器还创建了挑战的二电极控制计算可伸缩性。例如,忆阻器闩上混合信号操作容易寄生电流路径形成的动态取决于输入和权重向量。抑制这些通路,忆阻器细胞横梁通常与额外的选择器组件集成晶体管或二极管等。虽然选择器提高横梁的健壮性处理,额外的电路元素每个细胞牺牲了横梁可伸缩性和姿势在制造其他限制材料的兼容性。gydF4y2Ba

在这项工作中,我们提出了一个基于神经网络纵横dual-gated memtransistors (gydF4y2Ba图1gydF4y2Ba)来克服的局限性忆阻器闩新兴深度学习的高阶处理层。不像记忆电阻器,memtransistors多端gate-tunable活跃元素的非易失性阻力可以持续程序但不稳定的通道电阻也可以适应动态的栅电极。的gate-tunability memtransistors还提供了前所未有的电路和microarchitecture-level开机会神经闩,特别是对于新兴深度学习层依赖于高阶乘法交互。gydF4y2Ba

利用dual-gated金属氧化物半导体gydF4y2Ba_2gydF4y2Bamemtransistors对于神经处理,我们在这项工作中的重要贡献和新兴古典神经层如下:gydF4y2Ba

•经典层memtransistor闩:我们提出一个高阶神经网络处理方法使用dual-gated memtransistor横梁在时间和电荷域。在我们的方案中,时域输入一点应用行操作,输出是积累电荷域列。拟议中的gate-tunable神经处理显著提高横梁的可伸缩性和最小化混合信号处理和外围设备的管理费用。例如,我们利用门可调谐性memtransistors消除寄生电流路径的横梁。当time-encoded输入一行很低,memtransistors在各自的行配置非常高阻状态使用门控制抑制寄生电流路径。相比之下,传统的忆阻器闩需要额外的选择器在每个单元控制偷偷路径和/或仅限于小横梁尺寸。此外,通过使用gate-tunability memtransistors, conductance-emulated横梁权重动态抑制基于输入模式的总体预测精度不受影响但横梁的总体偏置电源可以最小化。尽管类似input-adaptive体重抑制也是可行的忆阻器闩,只有沉重的重量控制可以实现无明显复杂物理设计。同时,gate-tunability memtransistors自然允许soft-gating网络权重的开幕更多优秀的机会横梁重量适应不牺牲准确性。gydF4y2Ba

•新兴层memtransistor闩:我们讨论映射方案新兴高阶神经层memtransistor闩,即hypernetworks和history-dependent控制机制在多空词记忆(LSTM)和封闭的复发性单位(格勒乌)。实现显示的显著的效率memtransistor闩实现新兴层比传统忆阻器闩。双重门控制memtransistor允许二次订单乘法实现在单一设备,减少操作的总数和处理模块。例如,对于hypernetworks,二次乘法在memtransistor横梁gydF4y2Ba $\sim gydF4y2Ba\mathrm{1.5gydF4y2Ba}\times gydF4y2Ba$ 比记忆电阻器更节能。此外,通过执行高阶乘法在一个横梁,不像记忆电阻器,memtransistors排除分区高阶操作为一个低阶序列操作大大减少所需的工作量和提高能源效率的横梁处理。因此,新兴的神经层承诺更好的归纳偏见和预测能力网络规模约束下,memtransistor横杆通过启用低功率进一步提高他们的潜能的实现。gydF4y2Ba

第二部分论述了背景memtransistors在制造和操作特点。第三节讨论的优点memtransistor闩上古典神经网络层。第四节礼物的好处memtransistor闩Hypernetworks等新兴神经网络层和LSTM memtransistor网格。最后,第五节总结了我们关键的进步和总结。gydF4y2Ba

2 Gate-tunable dual-gated memtransistor闩gydF4y2Ba

在先前的作品(gydF4y2Ba从et al ., 2018gydF4y2Ba;gydF4y2Ba李et al ., 2020gydF4y2Ba),我们的合作者从Hersam演示了一个新颖的gate-tunable记忆性系统从多晶memtransistor-fabricated单层金属氧化物半导体gydF4y2Ba_2gydF4y2Ba与SiOgydF4y2Ba_2gydF4y2Ba作为闸极介电层底部。对个人dual-gated memtransistor (gydF4y2Ba图1一个gydF4y2Ba)、排水和源电极被电子束光刻图案的金属氧化物半导体和发射过程gydF4y2Ba_2gydF4y2Ba合成的化学汽相淀积。这是紧随其后的是金属氧化物半导体的模式gydF4y2Ba_2gydF4y2Ba渠道反应离子刻蚀(通道长度和宽度W是900和700 nm,分别)。上平巷电介质的艾尔gydF4y2Ba_2gydF4y2BaOgydF4y2Ba_3gydF4y2Ba(30 nm厚的)增长了原子层沉积。300 nm -厚SiOgydF4y2Ba_2gydF4y2Ba作为闸极介电层的掺杂硅晶片作为全球底门。的dual-gated memtransistor横梁是捏造使用相同的通道几何,金属电极的厚度,电介质层的厚度随着个人设备。gydF4y2Ba图1 bgydF4y2Ba显示了每个节点的通道尺寸的捏造横梁。gydF4y2Ba图1 cgydF4y2Ba显示了具有代表性的显微照片dual-gated 10-by-9横梁数组。源和漏终端线交叉、并行运行,memtransistor更高密度的细胞。顶部门线源/漏背道而驰的终端。其他各种适应memtransistors已经讨论了在我们之前的工作gydF4y2Ba燕x et al ., 2021gydF4y2Ba;gydF4y2Ba元et al ., 2021gydF4y2Ba;gydF4y2Ba从et al ., 2015gydF4y2Ba。gydF4y2Ba

2.1操作原则的dual-gated memtransistorgydF4y2Ba

图2一个gydF4y2Ba循环显示特征的记忆性和测量双dual-gated金属氧化物半导体的电阻开关特性gydF4y2Ba_2gydF4y2Bamemtransistor不同底部闸门偏见VgydF4y2Ba_BGgydF4y2Ba有一个浮动的门。设备最初处于低阻状态(LRS)和开关为高阻状态(小时)在正向偏压(漏极电压VgydF4y2Ba_DSgydF4y2Ba> 0),代表一个重置的过程。相比之下,设备发生(即一组过程。,从小时在反向偏压(V LRS)gydF4y2Ba_DSgydF4y2Ba< 0)。顺时针切换设置/复位过程和反向整流极性表明电荷注入的瓶颈发生在消耗电极。因此占主导地位的电阻切换机制发生在正向偏压肖特基二极管(即。重置的流失联系下,设置源接触)。这与占主导地位的电阻切换机制在反向偏置肖特基二极管源接触single-gated memtransistors (gydF4y2Ba从et al ., 2018gydF4y2Ba,gydF4y2Ba2015年gydF4y2Ba),如所示gydF4y2Ba图2 bgydF4y2Ba。可能的物理机制,详细讨论了在不同的行为gydF4y2Ba李et al。(2020)gydF4y2Ba。肖特基势垒的可逆和动态调制可以归因于迁移的缺陷或电荷捕获事件附近的联系人在底层的金属氧化物半导体gydF4y2Ba_2gydF4y2Ba或覆盖艾尔gydF4y2Ba_2gydF4y2BaOgydF4y2Ba_3gydF4y2Ba。最重要的是,dual-gated memtransistor (gydF4y2Ba李et al ., 2020gydF4y2Ba)使不仅gate-tunable学习,像single-gated memtransistor (gydF4y2Ba从et al ., 2018gydF4y2Ba),但也允许有效扩展成一个横梁阵列配置偷偷电流的抑制,与single-gated memtransistor。工作之前Memtransistor-based飙升神经元实现进行了讨论gydF4y2Ba元et al ., 2021gydF4y2Ba;gydF4y2Ba燕et al ., 2021 bgydF4y2Ba而本文侧重于高阶深度学习使用设备。gydF4y2Ba

2.2单栅memtransistor造型特征gydF4y2Ba

在gydF4y2Ba从et al ., 2018gydF4y2Ba下,我们已经讨论了memtransistor建模一个适应设备的门。这里提供了一个简短的总结。我们memtransistor行为通过集成模型的数学形式主义记忆性与电荷传输模型系统的肖特基势垒场效应晶体管(SB-FET)。记忆性系统被定义为:gydF4y2Ba

在哪里gydF4y2BatgydF4y2Ba是时间,gydF4y2BawgydF4y2Ba是一个内部状态变量,gydF4y2BaVgydF4y2Ba和gydF4y2Ba我gydF4y2Ba输入(电压)和输出(当前)。在亚阈值机制,在SB-FET由热电子发射电荷传输:gydF4y2Ba

在哪里gydF4y2Ba一个gydF4y2Ba∗理查森是2 d等效常数,这个词gydF4y2BaTgydF4y2Ba^3/2gydF4y2Ba来自于2 d模型(而不是gydF4y2BaTgydF4y2Ba^2gydF4y2BaΦ3 d)gydF4y2Ba_bgydF4y2Ba势垒高度。SB-FET模型与记忆性相结合的形式,我们得到:gydF4y2Ba

在这里,gydF4y2Ba一个gydF4y2Ba,gydF4y2BaDgydF4y2Ba,gydF4y2BaEgydF4y2Ba,gydF4y2BacgydF4y2Ba_rgydF4y2Ba,gydF4y2BacgydF4y2Ba_vdgydF4y2Ba,gydF4y2BapgydF4y2Ba,ΔgydF4y2BangydF4y2Ba拟合参数。我们为了简便起见,我们省略的细节上面的方程,可以在我们之前的工作gydF4y2Ba从et al ., 2018gydF4y2Ba。gydF4y2Ba

2.3的投影dual-gated memtransistor扩展维度gydF4y2Ba

维度的原型memtransistors没有按达到实用的神经处理低功耗的优点。虽然我们的设备正在进行缩放的努力(gydF4y2Ba李et al ., 2020gydF4y2Ba),在这项工作中,我们项目dual-gated memtransistor节点方法几十纳米研究的潜在好处crossbar-based神经处理使用模拟。制造原型,non-volatility阻力状态的实验验证起源于肖特基势垒高度调制(某人)。因此,研究纳米尺度的设备特征,形式主义的非平衡格林函数积分(NEGF)的电流传导和某人高度调制。NEGF-based模型可以保留航空电子的波(量子力学)字符扩展维度,因此,它比经典电流传输方程更准确。gydF4y2Ba

图3一gydF4y2Ba的示意图显示dual-gated memtransistor 7纳米通道长度的模拟使用NEGF。图中的缩放装置用于随后的讨论。设备形成的通道使用单层金属氧化物半导体gydF4y2Ba_2gydF4y2Ba。前大门上有图案的2 nm厚gydF4y2Ba_2gydF4y2BaOgydF4y2Ba_3gydF4y2Ba介质。制造原型,明白了gydF4y2Ba图1gydF4y2Ba,金属氧化物半导体gydF4y2Ba_2gydF4y2Ba是生长在SiOgydF4y2Ba_2gydF4y2Ba和掺杂硅层用作底门。适当,底部(或)门10 nm厚的SiO之下gydF4y2Ba_2gydF4y2Ba被认为是在适应。在各种某人(Δ高度gydF4y2BaϕgydF4y2Ba_BgydF4y2Ba)编程,gydF4y2Ba图3 bgydF4y2Ba显示我gydF4y2Ba_DgydF4y2Ba- vgydF4y2Ba_GSgydF4y2Ba按比例缩小的设备在V的特性gydF4y2Ba_DSgydF4y2Ba= 0.3 V和gydF4y2Ba图3 cgydF4y2Ba显示我gydF4y2Ba_DgydF4y2Ba- vgydF4y2Ba_DSgydF4y2Ba特征在顶部门潜力为0.5 V。由于热电子emission-based电流传导,我gydF4y2Ba_DSgydF4y2Ba通过memtransistor指数敏感栅电压VgydF4y2Ba_GSgydF4y2Ba。在不同编程配置,我gydF4y2Ba_DSgydF4y2Ba改变大小的一到三个订单切换门从0.5 V电压为零。因此,抑制通路,memtransistor横杆可以利用gate-tunability的我gydF4y2Ba_DSgydF4y2Ba;这些特征的优势将随后分析了更多的细节。gydF4y2Ba

2.4竞争突触相比内存技术gydF4y2Ba

表1gydF4y2Ba比较该技术对竞争突触神经闩内存技术。收集其他技术的特征和基准gydF4y2Ba2016年陈gydF4y2Ba;gydF4y2Ba崔et al ., 2020gydF4y2Ba;gydF4y2BaCai et al ., 2017gydF4y2Ba;gydF4y2Ba于2016年陈gydF4y2Ba;gydF4y2BaEndoh et al ., 2016gydF4y2Ba;gydF4y2BaMladenov 2019gydF4y2Ba,gydF4y2Ba2020年gydF4y2Ba;gydF4y2BaMladenov基里洛夫2013gydF4y2Ba。memtransistors多端控制两个关键优势,从而不再需要专门的选择器设备,和潜在的更好的横梁密度由于最高级门静电学甚至在sub-10纳米尺度。在演示原型gydF4y2Ba从et al ., 2018gydF4y2Ba;gydF4y2Ba李et al ., 2020gydF4y2Ba;gydF4y2Ba从2020年HersamgydF4y2Ba;gydF4y2Ba从et al ., 2017gydF4y2Ba;gydF4y2Ba燕x et al ., 2021gydF4y2Ba小时/ LRS比率、保留和耐力已经比得上best-reported特征之间的非易失性记忆(NVMs)。虽然我们目前的原型尺寸更大,预计在sub-10纳米通道长度、写电压小于2 V与延迟小于10纳秒。gydF4y2Ba

此外,memtransistors关键优势双重门突触晶体管等gydF4y2Ba燕m . et al ., 2021gydF4y2Ba;gydF4y2Ba田et al ., 2019gydF4y2Ba。在memtransistors,非易失性脉冲电阻开关是通过下水道的偏见。因此,门的终端可以负担得起的可调谐性电阻状态,实现多态记忆或改变在神经网络训练学习速率。重要的是,这就能达到第二个门,可以使用的选择器来抑制寄生电流扩展网络。所以,第二栅作为晶体管1 t1m架构的忆阻器闩而第二个门可以控制学习行为。在另一方面,dual-gated突触晶体管gydF4y2Ba燕m . et al ., 2021gydF4y2Ba;gydF4y2Ba田et al ., 2019gydF4y2Ba实现非易失性内存状态使用脉冲的盖茨,而不是消耗电极。所以,第二个门可以用来改变学习速率或作为一个选择,但不能两者兼得。因此,dual-gated memtransistors允许一个额外的控制电极中不可行dual-gated突触晶体管。这些差异也被概述在详细对比不同dual-gated突触设备包括铁电设备的评论文章gydF4y2Ba燕x et al ., 2021gydF4y2Ba。gydF4y2Ba

3经典神经层memtransistor闩gydF4y2Ba

本节研究的优势dual-gated memtransistor闩古典深度学习层。我们首先讨论时间/ charge-domain神经处理方案简化了横梁处理外围设备。随后,我们将讨论如何控制双栅memtransitor横杆可以利用动态抑制偷偷路径和层权重神经处理的能源效率最大化。gydF4y2Ba

3.1横梁结构和时域处理gydF4y2Ba

图4gydF4y2Ba显示了横梁的体系结构,其中每个细胞由dual-gated memtransistor。连续消耗电极的memtransistors一起共享和控制。memtransistors沿着列的源电极也共享。双栅网格形成内横梁。大门的memtransistors共享一行,一点创建一个行操作前门网格。Back-gates沿着列共享,形成一个网格列后门。可比memtransistor闩是捏造的gydF4y2Ba冯et al ., 2021gydF4y2Ba。权重矩阵映射在memtransistor网格编程每个横梁元素的肖特基势垒的高度(某人)。一点输入向量应用行操作的排水结束memtransistors在时域使用数字脉冲变换器(T-DAC)。T-DAC由数字组件数字比较器和寄存器来存储横梁inputs-where比较数字计数器的计数和存储输入。一个活跃的高信号插入如果计数小于输入。gydF4y2Ba

随后,在横梁上作用于time-encoded输入信号对存储的重量。每个memtransistor编程,使其电导(ggydF4y2Ba_ijgydF4y2Ba)应用time-encoded输入脉冲其流失源电极之间映射的重量大小成正比gydF4y2Ba_ijgydF4y2Ba。自电导memtransistor只能是积极的,而权重矩阵值可以包括积极的和消极的两个横梁cells-positive和负重量细胞是专门为每个权重矩阵条目,如图。积极或消极的权重矩阵的图中显示条目写在相应的细胞,而另一个细胞编程到最低电导。gydF4y2Ba

当输入脉冲应用,每个memtransistor注入电流gydF4y2Ba_ijgydF4y2Ba=我gydF4y2Ba_DSgydF4y2Ba(gydF4y2BaϕgydF4y2Ba_ijgydF4y2Ba)只要一列脉冲是活跃的。在这里,gydF4y2BaϕgydF4y2Ba_ijgydF4y2Ba是编程的memtransistor肖特基势垒的高度吗gydF4y2Ba^ijgydF4y2Ba行和jgydF4y2Ba^ijgydF4y2Ba列,程序根据相应的权重值wgydF4y2Ba_ijgydF4y2Ba映射的十字路口。沿着一条列,列电流集成电容CgydF4y2Ba_INTgydF4y2Ba使用一个电荷积分器电路的右边gydF4y2Ba图4gydF4y2Ba。横梁的末尾处理,在集成电容器发展的潜力gydF4y2Ba∑TgydF4y2Ba_我gydF4y2Ba×gydF4y2Ba我gydF4y2Ba_ijgydF4y2Ba/gydF4y2BaCgydF4y2Ba_INTgydF4y2Ba。在这里,gydF4y2BaTgydF4y2Ba_我gydF4y2Ba的脉宽编码输入向量元素的行“我”和我吗gydF4y2Ba_ijgydF4y2Ba我是当前memtransistor吗gydF4y2Ba^ijgydF4y2Ba行和jgydF4y2Ba^ijgydF4y2Ba列。前端放大器在电荷积分器执行虚拟地面的来源memtransistors改善当前集成的可靠性。gydF4y2Ba

一个集成电荷可以暂时使用电压保持细胞显示右边的图。把手机设计使用同源性疾病(CS)放大器和NMOS (MgydF4y2Ba_N1gydF4y2Ba)和数量(MgydF4y2Ba_P2gydF4y2Ba)输入阶段适应轨到轨的积分器的输出和反馈电容(CgydF4y2Ba_f1gydF4y2Ba和CgydF4y2Ba_f2gydF4y2Ba)。charge-integrator的潜在产出下降随着时间的推移,由于横梁的泄漏。这样的退化将改变米的偏压gydF4y2Ba_N1gydF4y2Ba和MgydF4y2Ba_P2gydF4y2Ba增加,导致CS的输出阶段由于负面反馈和反馈电容导致潜在的差异。由此产生的电流反馈电容器由于电位差恢复charge-integrator输出,从而提高了人们把手机的保留时间。gydF4y2Ba

时域数字模拟转换器的复杂性(T-DAC)和voltage-domain模拟到数字转换器(ADC)gydF4y2Ba图4gydF4y2Ba成指数增加精度较高的输入和输出处理。Memtransistors只能支持有限精度重量存储。因此,神经的操作精度横梁本质上是有限的。更高精度的输入和权重位片可以缓解精度可伸缩性挑战,如所示gydF4y2Ba图4gydF4y2Ba。例如,8位输入和重量值和四个操作周期可以分成一些时间段,为四位部分可用于处理。尽管横梁的延迟增加,其设计和实现成为显著简化。类似的忆阻器和其他非易失性内存的神经加速器之前也一直在研究工作gydF4y2BaTrivedi Mukhopadhyay 2014gydF4y2Ba;gydF4y2Ba玛纳斯Trivedi 2016gydF4y2Ba;gydF4y2BaShafiee et al ., 2016gydF4y2Ba;gydF4y2Ba王et al ., 2016gydF4y2Ba;gydF4y2BaMikhailenko et al ., 2018gydF4y2Ba;gydF4y2Ba纳斯林et al ., 2019gydF4y2Ba;gydF4y2Ba费尔南多et al ., 2020gydF4y2Ba;gydF4y2Ba马et al ., 2020gydF4y2Ba;gydF4y2Ba纳斯林et al ., 2020gydF4y2Ba;gydF4y2Ba舒克拉et al ., 2021 agydF4y2Ba)。然而,我们随后将重点讨论如何dual-gated memtransistor电网的控制可以提供独特的开的机会不能使用当前memristor-based横梁的设计。gydF4y2Ba

3.2横梁可伸缩性与闸控偷偷路径抑制gydF4y2Ba

一个关键挑战传统横梁伸缩寄生电流路径的存在。考虑前面讨论了时域神经处理在横梁上gydF4y2Ba图5一个gydF4y2Ba。作为一个向量的应用时域输入行,电荷域处理数组中计算输入vector-weight矩阵产品一起列在电压模式下,必须向下处理和传输的数字化。因为典型的模拟-数字转换器(ADC)需要大量的面积/能量开销,集成并行ADC在每个横梁列有过多的开销。因此通常情况下,只有数量有限的集成adc将在所有横梁列顺序数字化他们多路输出。在这种ADC复用,列举行的模拟输出电荷积分器电荷泄漏下容易降解。因此,减少权力横梁的偏见在ADC的多路复用,只有有限数量的列输出(如16在横梁128列)计算在一次性的步骤中,剩下的横梁列左浮动,以防止泄漏的力量。然而,浮动横梁列可以形成通路影响输出精度,而这样偷偷路径的数量急剧增加而增加横梁的大小。gydF4y2Ba

栅偏压memtransistor横梁,横梁元素可以用来抑制这种偷偷动态路径。gydF4y2Ba图5一个gydF4y2Ba显示该方案从T-DAC定时脉冲应用于排水和memtransistor的门。T-DAC脉冲禁用,栅电压的memtransistors行是被从0 V−0.5 V,从而增加他们的抵抗数量级(见gydF4y2Ba图3 bgydF4y2Ba),有效地抑制通路通过浮动memtransistor列。虽然类似的实现可用于记忆电阻横杆通过集成晶体管在每个横梁细胞(gydF4y2Ba·阿里·齐达内et al ., 2014gydF4y2Ba;gydF4y2Ba燕et al ., 2016gydF4y2Ba;gydF4y2BaHumood et al ., 2019gydF4y2Ba;gydF4y2Ba施et al ., 2020gydF4y2Ba),memtransistors实现这一在一个单一的电路装置。gydF4y2Ba

图5 bgydF4y2Ba显示了均方根(RMS) memristor-based横梁阵列误差对memtransistor横梁数组在门电压利用动态抑制寄生电流路径。列出了各种仿真参数gydF4y2Ba表2gydF4y2Ba。Memtransistors W / L = 10 nm / 7海里用于每个横梁细胞gydF4y2BaϕgydF4y2Ba_BgydF4y2Ba编程在∼150 mV drain-to-source电流变化的窗口gydF4y2Ba我gydF4y2Ba_dsgydF4y2Ba从1 - 100 nA排水VgydF4y2Ba_DgydF4y2Ba。当输入从T-DAC失效,VgydF4y2Ba_DgydF4y2Ba沿行memtransistors接地和VgydF4y2Ba_GgydF4y2Ba偏见在−0.5 V截止溜如上所述路径。一个等效电阻编程范围假定记忆电阻器在memtransistors特别突出门可调谐性的优势。时机dac操作4比特精度和最小时间步长为0.2 ns。6-Bit精密ADC与横梁和一个集成ADC操作消耗8.3 fJ基于能量模型gydF4y2Ba金斯伯格2007年gydF4y2Ba。模拟使用香料进行。仿真结果表明平均和最糟糕的性能超过几百模拟随机输入和权重向量。阴影所示的误差分布是红色和绿色的颜色记忆电阻和memtransistor闩。gydF4y2Ba

注意,记忆电阻的寄生电流路径问题恶化横杆与横梁尺寸增加,导致退化的输出,从而限制了规模最大的横梁,可以可靠地处理。提出memtransistor横梁上操作,我们可以控制寄生电流仪器噪声地板由于每个门连接到输入。因此,误差几乎独立于数组的大小,只是影响non-idealities等外围设备的有限运放增益(∼100在我们的例子中)。此外,平均功耗可以显著减少dual-gated memtransistor横梁,所示gydF4y2Ba图5 cgydF4y2Ba。如果这样偷偷的路径被抑制记忆电阻的接地没有列横梁,由此产生的浪费在偏压电源总是规模与横梁尺寸所示gydF4y2Ba图5 cgydF4y2Ba。在避免对地面的要求没有横梁列,memtransistor横杆可以达到更好的能源效率比忆阻器闩。gydF4y2Ba

3.3输入自适应深度学习与动态权重gydF4y2Ba

input-adaptive推理变得显著改善深度学习的能源效率。input-adaptive推理的中心思想是动态地重新调整输入输出连接在每一层基于输入特征和复杂性。例如,复杂的输入模式可以处理更复杂的推理模式,即:,重量和更多的抽象级别(层)款。相比之下,简单的输入可以操作的低复杂度模型用更少的重量保持较高的预测精度。等输入自适应深度学习、刘等人。gydF4y2Ba刘邓2018gydF4y2Ba讨论了动态神经网络(DgydF4y2Ba^2gydF4y2Ba神经网络),在每个深度学习输入输出连接层动态地根据输入特性下降。通道控制神经网络进行了讨论gydF4y2Ba华et al。(2019)gydF4y2Ba通道,从而减少对分类结果进行标识,并动态地跳过。提出了动态slimmable网络gydF4y2Ba李et al ., 2021gydF4y2Ba探索一个更好的映射效率在这种连续保持过滤器存储静态和动态修剪的记忆。gydF4y2Ba

然而,大多数input-adaptive推理技术适用于忆阻器闩显示显著的复杂性缺乏相关训练记忆电阻的动态可调整性特征。因为记忆电阻的电阻不能在运行时,调制gydF4y2Ba很难控制gydF4y2Ba输出神经元可以实现。在这种艰难的选通,一个输出神经元完全下降(封闭)根据输入模式,从而可以节省相关的偏见上电突触连接。然而,努力控制神经元需要添加离散优化步骤的学习过程。因此,计算上开销很高的离散优化方法(如加强gydF4y2BaCai et al ., 2018gydF4y2Ba)或强化学习gydF4y2Ba刘邓2018gydF4y2Ba需要哪些显著增加了培训工作负载。虽然硬款神经元的控制是必不可少的记忆电阻网格,利用他们的门的可调性,memtransistor网格可以使用gydF4y2Ba软控制gydF4y2Ba增强的神经元input-adaptive偏见节电的机会以及简化学习过程。软控制下,一个输出神经元可以通过门动态缩小其突触强度的可调谐性memtransistor网格。自偏压电源weight-input产品在一个输出神经元突触相关的总电导成正比,可以节省相关的偏压电源,按比例缩小其突触权重。我们将讨论如何双栅控制memtransistor闩input-adaptive横梁重量等可以有效地实现调制。更重要的是,我们将讨论如何管理简化了双栅input-adaptive推理训练过程。gydF4y2Ba

在gydF4y2Ba图6 bgydF4y2Ba,可以考虑input-adaptation神经元gydF4y2Ba_{我gydF4y2Ba,1gydF4y2Ba}到一个gydF4y2Ba_{我gydF4y2Ba,gydF4y2BaNgydF4y2Ba}交错纵横映射层与输出神经元gydF4y2Ba我gydF4y2Ba一个神经网络。input-adaptive横梁能量最小化,输出神经元的方案遵循“soft-suppression”通过控制他们的列后门基于适应神经元的输出电压。如果一个适应神经元抑制输出神经元,其输出电压很低,减少输出神经元的列中所有的重量。我们认为基于块输入适应那里的神经元gydF4y2Ba_ijgydF4y2Ba调节列门电压的输出神经元相应块BgydF4y2Ba_ijgydF4y2Ba图中所示。两个阶段的input-adaptation显露出来。在第一阶段,输出神经元的抑制电压计算通过适应神经元同时禁用定期输出神经元使用列门电压,即。,VgydF4y2Ba_BGgydF4y2Ba= 0 V。适应神经元gydF4y2Ba_ijgydF4y2Ba适应执行标量积层的权重矩阵和层输入ygydF4y2Ba_{我gydF4y2Ba−1gydF4y2Ba}计算适应电压相应的块。在第二个阶段,层输出计算通过抑制电压输出神经元的网格门,如图。因此,权重矩阵gydF4y2BaWgydF4y2Ba_我gydF4y2Ba的层gydF4y2Ba我gydF4y2Ba是适应gydF4y2Ba ${\mathrm{WgydF4y2Ba}}_{\mathrm{我gydF4y2Ba}}^{\mathrm{一个gydF4y2Ba}}=gydF4y2Ba{\mathrm{WgydF4y2Ba}}_{\mathrm{我gydF4y2Ba}}\odot gydF4y2Ba\mathrm{ggydF4y2Ba}(gydF4y2Ba{\mathrm{一个gydF4y2Ba}}_{\mathrm{我gydF4y2Ba}\mathrm{jgydF4y2Ba}})gydF4y2Ba$ 在哪里gydF4y2BaggydF4y2Ba()电压电导memtransistor传递函数和⊙阿达玛产品操作(见左gydF4y2Ba图6 bgydF4y2Ba)。gydF4y2Ba

值得注意的是,由于重量、软抑制网络完全是可微的,从而不介绍训练复杂性相比,典型的款。在gydF4y2Ba图6 cgydF4y2Ba,我们认为一个全层从AlexNet大小为4096×4096,与CIFAR10训练数据集,并应用上述input-adaptive推理神经权重的软控制。适应神经元的权重gydF4y2Ba一个gydF4y2Ba_ijgydF4y2Ba被修改原始重量训练矩阵gydF4y2BaWgydF4y2Ba_我gydF4y2Ba来gydF4y2Ba ${\mathrm{WgydF4y2Ba}}_{\mathrm{我gydF4y2Ba}}^{\mathrm{一个gydF4y2Ba}}=gydF4y2Ba{\mathrm{WgydF4y2Ba}}_{\mathrm{我gydF4y2Ba}}\odot gydF4y2Ba\mathrm{ggydF4y2Ba}(gydF4y2Ba{\mathrm{一个gydF4y2Ba}}_{\mathrm{我gydF4y2Ba}\mathrm{jgydF4y2Ba}})gydF4y2Ba$ 和添加gydF4y2Ba ${\mathcal{lgydF4y2Ba}}_{\mathrm{2gydF4y2Ba}}$ 规范的调整权重矩阵gydF4y2Ba $为gydF4y2Ba{\mathrm{WgydF4y2Ba}}_{\mathrm{我gydF4y2Ba}}^{\mathrm{一个gydF4y2Ba}}{为gydF4y2Ba}^{\mathrm{2gydF4y2Ba}}$ 部队网络的成本函数最小化网络对每个输入的重量训练集,说明结果,全层网络中执行input-adaptive推理有八个适应神经元。图中显示适应因素在8个神经元在不同例子图像数据集,证明网络的能力来抑制神经权重动态地根据输入特征。在gydF4y2Ba图6 dgydF4y2Ba,我们考虑不同数量的适应神经元作用于相同的块大小在每个横梁。横梁的处理能力降低有更多适应神经元由于细粒度输入适应性。然而,由于每个适应神经元导致其处理开销,一个最优的数量需要最大限度的节能。在图中,一个最优∼20%和32适应神经元可以节省能源考虑情况。gydF4y2Ba

4高阶神经网络memtransistor闩gydF4y2Ba

几个新图层样式款正在开发以提高计算效率和捕获多个感应偏见在深入学习。明显的趋势在新兴款图层样式是他们利用高阶之间的交互操作数。例如,对于输入gydF4y2BaxgydF4y2Ba、体重矩阵gydF4y2BaWgydF4y2Ba和激活函数gydF4y2BafgydF4y2Ba(),一个经典的一阶款层计算gydF4y2BafgydF4y2Ba(gydF4y2Ba的天气gydF4y2Ba)。相比之下,一个二阶款层hypernetworks计算gydF4y2Ba $\mathrm{fgydF4y2Ba}(gydF4y2Ba{\mathbf{zgydF4y2Ba}}^{\mathrm{TgydF4y2Ba}}\mathcal{WgydF4y2Ba}\mathbf{xgydF4y2Ba})gydF4y2Ba$ (gydF4y2Ba图7gydF4y2Ba)。在这里,gydF4y2Ba $\mathcal{WgydF4y2Ba}$ 是一个三维张量体重,gydF4y2BazgydF4y2Ba是一个高阶被乘数操作以及输入gydF4y2BaxgydF4y2Ba。因为记忆电阻器二电极装置,只适合一阶网络层在经典深度学习模型,除非其他电路元素被添加到每个细胞。与此同时,单个元素memtransistor细胞可以有效地实现高阶处理步骤利用门码头。本节介绍了各种新兴图层样式的映射memtransistor闩,显示他们比忆阻器闩更高程度的通用性。gydF4y2Ba

在一个hypernetworkgydF4y2BaHa et al ., 2016gydF4y2Ba,一个神经网络gydF4y2BaggydF4y2Ba生成另一个网络的权重gydF4y2BafgydF4y2Ba给出一些背景gydF4y2BazgydF4y2Ba。Hypernetworks发现关键成功在传统款生成建模、持续学习、神经机器翻译gydF4y2BaKlocek et al ., 2019gydF4y2Ba;gydF4y2BaEhret et al ., 2020gydF4y2Ba;gydF4y2BaSpurek et al ., 2020gydF4y2Ba;gydF4y2Ba苏亚雷斯2017gydF4y2Ba。之前的工作gydF4y2Ba贾古玛et al ., 2019gydF4y2Ba表明处理hypernetworks,事实上,相当于高阶处理的输入gydF4y2BaxgydF4y2Ba和上下文gydF4y2BazgydF4y2Ba通过三维张量体重gydF4y2Ba $\mathcal{WgydF4y2Ba}$ 。gydF4y2Ba图7gydF4y2Ba显示了映射的hypernetworks memtransistor闩。一个2 d片gydF4y2Ba $\mathcal{WgydF4y2Ba}$ 映射在一个横梁。gydF4y2BazgydF4y2Ba和一点时间编码行操作在排水终端应用吗gydF4y2BaxgydF4y2Ba列在后门终端应用。一点正如之前所讨论的,行操作后门终端都是用来抑制通路。指控被所有列可以集成通过一次充电积分器电路通过合并它们。从每个memtransistor电荷流一点只要两行操作drain-to-source电压脉冲(编码gydF4y2BazgydF4y2Ba(编码)和列后门电压脉冲gydF4y2BaxgydF4y2Ba)是活跃的。从而,飞出了横梁在一个处理步骤是成正比的gydF4y2BazgydF4y2Ba^TgydF4y2BaWgydF4y2Ba_我gydF4y2BaxgydF4y2Ba在哪里gydF4y2BaWgydF4y2Ba_我gydF4y2Ba是一片gydF4y2Ba $\mathcal{WgydF4y2Ba}$ 横梁上的映射。gydF4y2Ba

图7 bgydF4y2Ba显示了一个比较映射hypernetworks的忆阻器横梁来说明memtransistor网格等高级处理的优点。因为记忆电阻器只能执行一阶矩阵向量乘法,hypernetwork计算必须分成多个步骤gydF4y2Ba图7 bgydF4y2Ba。因此,首先,weight-slicegydF4y2BaWgydF4y2Ba_我gydF4y2Ba处理对time-encoded上下文向量gydF4y2BazgydF4y2Ba使用一个忆阻器横梁。然后,列输出数字化,与输入向量乘以数字gydF4y2BaxgydF4y2Ba。最后,产品和比特数字积累。对于一个gydF4y2BangydF4y2Ba×gydF4y2Ba米gydF4y2Ba×gydF4y2BakgydF4y2Ba份三维张量体重gydF4y2Ba $\mathcal{WgydF4y2Ba}$ ,忆阻器横梁需要执行一些额外的操作相比memtransistor横梁所示gydF4y2Ba表3gydF4y2Ba。例如,忆阻器闩gydF4y2BangydF4y2Ba×gydF4y2BakgydF4y2BaADC操作gydF4y2BangydF4y2Ba列gydF4y2BakgydF4y2Ba横杆的必要过程gydF4y2Ba $\mathcal{WgydF4y2Ba}$ 。与此同时,在memtransistor闩,每个横梁只有一个ADC操作是必要的,因此只有gydF4y2BakgydF4y2Ba操作是必要的。尽管memtransistors需要更多的DAC操作由于time-encoded一点电压脉冲被应用于行操作排水终端和列gate-terminals, DAC操作的开销更少由于其数字设计与ADC相比。记忆电阻器还需要gydF4y2BangydF4y2Ba×gydF4y2BakgydF4y2Ba数字multiply-accumulate操作所示gydF4y2Ba图7 bgydF4y2Ba而memtransistors只需要gydF4y2BakgydF4y2Ba这样的操作,每一个横梁。此外,忆阻器横梁在横梁操作本身也消耗额外的权力。功耗memtransistor元素与产品成比例gydF4y2BazgydF4y2Ba_我gydF4y2Ba×gydF4y2BaWgydF4y2Ba_ijgydF4y2Ba×gydF4y2BaxgydF4y2Ba_jgydF4y2Ba在哪里gydF4y2BazgydF4y2Ba_我gydF4y2Ba,gydF4y2BaxgydF4y2Ba_jgydF4y2Ba,gydF4y2BaWgydF4y2Ba_ijgydF4y2Ba的背景下,输入,和重量元素映射在memtransistorgydF4y2Ba我gydF4y2Ba行,gydF4y2BajgydF4y2Ba列。功耗在相应的忆阻器元素成正比gydF4y2BazgydF4y2Ba_我gydF4y2Ba×gydF4y2BaWgydF4y2Ba_ijgydF4y2Ba。考虑到输入和上下文向量是标准化的统一,gydF4y2BazgydF4y2Ba_我gydF4y2Ba×gydF4y2BaWgydF4y2Ba_ijgydF4y2Ba×gydF4y2BaxgydF4y2Ba_jgydF4y2Ba小于gydF4y2BazgydF4y2Ba_我gydF4y2Ba×gydF4y2BaWgydF4y2Ba_ijgydF4y2Ba因此,memtransistor横梁消耗降低偏压的力量。gydF4y2Ba

考虑一个特定的测试用例gydF4y2Ba $\mathcal{WgydF4y2Ba}$ 大小为64×64×64gydF4y2BaxgydF4y2Ba,gydF4y2BazgydF4y2Ba和重量均匀分布,gydF4y2Ba图7 cgydF4y2Ba和gydF4y2Ba表3gydF4y2Ba也比较记忆电阻和memtransistor电网的能源横梁偏压和周边业务。仿真参数列在gydF4y2Ba表2gydF4y2Ba用于能源估计。通过减少操作gydF4y2BaxgydF4y2Ba和gydF4y2BazgydF4y2Ba为一个周期,memtransistor网格保存×1.5比记忆电阻的网格。通过最小化ADC的数量和数字MAC操作,memtransistor闩保存gydF4y2Ba $\sim gydF4y2Ba\mathrm{15gydF4y2Ba}\times gydF4y2Ba$ 能源相比,记忆电阻器的测试用例。gydF4y2Ba

在封闭的递归神经网络(RNN),如长期短期记忆(LSTM)gydF4y2Ba1997年的Hochreiter和。施密德胡贝尔表示gydF4y2Ba和封闭的复发性单位(格勒乌)gydF4y2BaRavanelli et al ., 2018gydF4y2Ba,之前的输出状态的作用gydF4y2BahgydF4y2Ba_{tgydF4y2Ba−1gydF4y2Ba}目前的预测gydF4y2BahgydF4y2Ba_tgydF4y2Ba封闭的基于预测从忘记网络吗gydF4y2BargydF4y2Ba_tgydF4y2Ba使用阿达玛产品,即,gydF4y2BahgydF4y2Ba_{tgydF4y2Ba−1gydF4y2Ba}⊙gydF4y2BargydF4y2Ba_tgydF4y2Ba。gydF4y2Ba图8gydF4y2Ba显示了这样通过耦合memtransistor闩门。在这里,第一横梁XbargydF4y2Ba_1gydF4y2Ba计算的控制因素gydF4y2BargydF4y2Ba_tgydF4y2Ba。XbargydF4y2Ba_2gydF4y2Ba是一个特殊目的的横梁,两门线并行的一点运行行操作。值得注意的是,通过直接耦合XbargydF4y2Ba_1gydF4y2Ba和XbargydF4y2Ba_2gydF4y2Ba从Xbar,数字转换的控制因素gydF4y2Ba_1gydF4y2Ba对XbargydF4y2Ba_2gydF4y2Ba不需要,控制可以应用于电压域本身的因素。激活层,乙状结肠等控制因素,可以实现使用一个运算跨导放大器(OTA)。相反,其他数字乘法和域转换将是必要的,如果通过忆阻器横梁控制映射。由于这样的综合处理,gydF4y2Ba表4gydF4y2Ba在64×64随机LSTM /格勒乌矩阵的随机输入,memtransistors平均消费gydF4y2Ba $\sim gydF4y2Ba\mathrm{1.8gydF4y2Ba}\times gydF4y2Ba$ 处理能量低。虽然模拟外设,如在线旅行社需要操作电荷积分器(C-Int)直接输出,受益于储蓄ADC的能源取代,因此,memtransistor闩更有效率。像hypernetworks,能量比较进行各种处理组件的使用能源模型和评估必要的操作。gydF4y2Ba

同样,注意机制可以有效地实现在memtransistor闩。尤其值得一提的是,最近的研究已表明非常简单的神经机制架构由完全的关注gydF4y2BaVaswani et al ., 2017gydF4y2Ba。一个关注函数可以被描述为一个查询映射和一组键值对输出。多头关注Vaswani et al。(2017),每一层的关注gydF4y2Ba我gydF4y2Ba计算gydF4y2Ba $\text{softmaxgydF4y2Ba}(gydF4y2Ba\mathbf{问gydF4y2Ba}{\mathbf{WgydF4y2Ba}}_{\mathrm{问gydF4y2Ba}\mathrm{KgydF4y2Ba}}^{\mathrm{我gydF4y2Ba}}{\mathbf{KgydF4y2Ba}}^{\mathrm{TgydF4y2Ba}})gydF4y2Ba$ 作为一个矩阵查询和键在哪里了gydF4y2Ba问gydF4y2Ba和gydF4y2BaKgydF4y2Ba,分别。gydF4y2Ba ${\mathbf{WgydF4y2Ba}}_{\mathrm{问gydF4y2Ba}\mathrm{KgydF4y2Ba}}^{\mathrm{我gydF4y2Ba}}$ 是一个线性投影矩阵从数据。自从memtransistor横杆可以执行二次矩阵产品在一个数组中,他们可以有效地实现这种机制的关注。通过执行二次矩阵乘法在一个横梁,类似于hypernetworks, memtransistor横杆可以节省大量的处理能量。同样,度量学习是计算机视觉的一个关键操作gydF4y2Ba•贝雷特如是et al ., 2015gydF4y2Ba。类是一种常用的距离距离的地方gydF4y2BadgydF4y2Ba_CgydF4y2Ba(gydF4y2BaxgydF4y2Ba,gydF4y2BazgydF4y2Ba)=为gydF4y2BaxgydF4y2Ba−gydF4y2BazgydF4y2Ba为gydF4y2Ba_CgydF4y2Ba=gydF4y2BaxgydF4y2Ba^TgydF4y2BaCgydF4y2Ba^{−1gydF4y2Ba}xgydF4y2Ba−2gydF4y2BaxgydF4y2Ba^TgydF4y2BaCgydF4y2Ba^{−1gydF4y2Ba}zgydF4y2Ba+gydF4y2BazgydF4y2Ba^TgydF4y2BaCgydF4y2Ba^{−1gydF4y2Ba}zgydF4y2Ba。二次矩阵乘法度量学习也可以使用memtransistor实现闩。gydF4y2Ba整体gydF4y2Ba,memtransistor横杆可以有效的在一系列不同的数据处理任务,已经超出了记忆电阻器的限制。gydF4y2Ba

5的结论gydF4y2Ba

我们已经讨论了新兴的趋势在最近的深度学习高阶神经网络层和输入自适应深度学习依赖于高阶乘法交互。由于记忆电阻器两端被动元器件,他们无法有效地模仿这样的高阶计算,不能利用的算法的创新。克服这个关键硬件技术差距和新兴的神经网络层架构,我们已经讨论了神经处理dual-gated memtransistor闩。由于双栅控制,memtransistor横杆可以动态地适应通过抑制通路或调整对输入特征。此外,双栅memtransistors允许映射的可调谐性高阶计算在一个横梁细胞,从而导致显著减少模拟-数字转换和横梁偏压电源。gydF4y2Ba

数据可用性声明gydF4y2Ba

最初的贡献提出了研究中都包含在本文/辅料,可以针对相应的作者进一步询问。gydF4y2Ba

作者的贡献gydF4y2Ba

在、VS和MH发达的思想。LR和SL设备级的开发研究。和SN执行应用程序级模拟。gydF4y2Ba

资金gydF4y2Ba

这项工作主要是由国家科学基金会(NSF)资助号码ccf - 2106964。gydF4y2Ba

的利益冲突gydF4y2Ba

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。gydF4y2Ba

出版商的注意gydF4y2Ba

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。gydF4y2Ba

引用gydF4y2Ba