对可再生的模型的序列学习:复制和分析模块化飙升奖励网络基础的学习gydF4y2Ba

1。介绍gydF4y2Ba

在动态环境中导航需要精确的协调行动和决定在时间和空间中,匹配的时空结构的刺激他们的基础。因此,学习能力、处理和预测认知的序列模式是一个关键组成部分,与最新实验结果显示大量的大脑区域参与序列处理(gydF4y2BaDehaene et al ., 2015gydF4y2Ba;gydF4y2Ba威尔逊et al ., 2018gydF4y2Ba;gydF4y2Ba海宁et al ., 2021gydF4y2Ba)。一些地区,如海马,专业(空间)的任务主要依靠在序列和顺序的信息gydF4y2Ba压缩gydF4y2Ba时间特性,例如由回忆序列比经验(gydF4y2Ba1999年8月和征税gydF4y2Ba)。其他地区,包括早期的感官等领域初级视觉皮层,不仅能够学习和回忆的一系列刺激模式,而且单个元素的持续时间(gydF4y2Ba徐et al ., 2012gydF4y2Ba;gydF4y2BaGavornik和贝尔,2014年gydF4y2Ba)。事实上,能够代表一个序列的顺序和时间组件有两个最基本的要求,任何系统处理顺序的信息。gydF4y2Ba

然而,大多数现有的模型生物序列无监督学习的地址只有第一个这两个标准,专注于获取元素的顺序,通常没有考虑他们的持续时间。他们要么不能本质上代表了时间间隔(gydF4y2Ba绝et al ., 2018gydF4y2Ba;gydF4y2BaBouhadjar et al ., 2021gydF4y2Ba),或者他们认为固定和相同的持续时间为每个元素是有限的架构(gydF4y2Ba梅斯et al ., 2021gydF4y2Ba),或者他们甚至产生时间序列,产生自发地在缺乏结构化输入(因此不相关,gydF4y2BaFiete et al ., 2010gydF4y2Ba)。其他研究已经表明,事件和刺激的持续时间可以通过瞬变轨迹的神经编码空间通过不同的细胞组件的顺序激活,但这些机制要么是限制时间(gydF4y2BaDuarte和莫里森,2014gydF4y2Ba;gydF4y2BaDuarte et al ., 2018gydF4y2Ba的上下文中),探讨工作记忆(gydF4y2BaMongillo et al ., 2008gydF4y2Ba;gydF4y2Ba菲茨et al ., 2020gydF4y2Ba)或依靠大量工程网络架构(gydF4y2BaKlampfl马斯河,2013gydF4y2Ba)。gydF4y2Ba

寻求统一这些计算功能,gydF4y2Ba锥和Shouval (2021)gydF4y2Ba最近提出了一个新颖的生物物理现实的飙升网络模型,避免了时间压缩的问题,同时保持在序列重复元素的准确顺序。依赖于层压结构,以及实验观察细胞属性,系统使用本地,eligibility-based可塑性规则(肠胃病用药学习规则看,例如,gydF4y2BaPorr Worgotter, 2007gydF4y2Ba;gydF4y2BaFremaux et al ., 2015gydF4y2Ba;gydF4y2Ba郭士纳et al ., 2018gydF4y2Ba;gydF4y2Ba麦基和Grienberger, 2020gydF4y2Ba)学习元素的顺序绘制出stimulus-tuned列(类似于之间的物理路径gydF4y2BaZajzon et al ., 2019gydF4y2Ba),每个项目的持续时间内被编码在复发性激活相应的列。学习规则,基于两个资格痕迹和之间的竞争在全球范围内提供奖励的信号,基于最近的实验结果(gydF4y2Ba他et al ., 2015年gydF4y2Ba;gydF4y2Ba韦尔塔et al ., 2016gydF4y2Ba)。这种模块化的体系结构允许网络灵活学习和回忆与可变长度8个元素的序列,但只有简单的物品之间的转换(一阶马尔可夫过程的)。更复杂的序列与历史依赖(即。,higher-order Markovian) can be learned, but require additional structures for memory. Given the increased complexity, this ability is only demonstrated in a continuous rate-based model.

的代码模型中可用gydF4y2BaMATLABgydF4y2Ba。由于这是一个专有的,闭源软件,模型表达了这种方式的可访问性问题(不是每一个科学家都能承受一个许可证)和承担更大的风险成为可执行的遗留代码,如果不定期维护的代码(例如,见gydF4y2BaBrinke et al ., 2022gydF4y2Ba)。此外,作为gydF4y2BaMATLABgydF4y2Ba是一个通用数值计算平台,研究人员必须开发所有神经科学模型和仿真算法gydF4y2Ba新创gydF4y2Ba,它提供了一个更高的风险实现错误和不太合适数值(gydF4y2Ba泡利et al ., 2018gydF4y2Ba)。gydF4y2Ba

因此在本文中,我们提出一个复制的原始研究中,服务的双重目的测试最初的发现和提供一个更容易版本的模型来计算神经科学社区。具体来说,我们使用开源软件重新实现他们的模型gydF4y2Ba巢gydF4y2Ba(gydF4y2BaGewaltig Diesmann, 2007gydF4y2BaPython)来模拟网络和数据分析,从而确保一个可重用和可维护的代码库。gydF4y2Ba

在这里,我们使用术语gydF4y2Ba复制gydF4y2Ba在gydF4y2BaRgydF4y2Ba^5gydF4y2Ba所描述的感觉gydF4y2BaBenureau和鲁吉尔(2018)gydF4y2Ba,即,striving to obtain the same results using an independent code base, whereas a繁殖gydF4y2Ba(gydF4y2BaRgydF4y2Ba^3gydF4y2Ba)的模型取得了如果我们获得了原始研究的结果使用原始代码。然而,其他人认为应该使用这些术语反过来:明白了gydF4y2Ba叩诊槌(2018)gydF4y2Ba概述和分析。gydF4y2Ba

我们成功地重新复制的主要结果箝制网络模型从最初的出版物。超越报道发现,我们执行一个广泛的网络和学习参数的灵敏度分析,并识别关键组件和模型的假设。我们测试模型在多尺度和推断的基本关系的规模和数值不同的参数。此外,我们表明,原有的模式和实施依赖于设定前馈预测成功学习的顺序列元素之间在一个给定的序列。我们讨论为什么学习失败时推广到更合理的结构,在这种结构中,允许所有列之间的预测,并提供了两种可能的解决方案,恢复系统的功能。最后,我们证明的核心学习机制可以保留在功能上等价的网络体系结构,它只包含本地抑制电路,与皮层连接模式(gydF4y2Ba布朗和Hestrin, 2009年gydF4y2Ba)。gydF4y2Ba

我们面临的挑战在复制本研究强调详细和准确的文档的重要性,以及访问模型代码。事实上,一个成功的复制的主要结果不可能一直没有能够参考原始实现。除了多个模型描述和代码之间的差异,一些概念的局限性我们揭示来自某些关键实现细节(如中讨论gydF4y2Ba泡利et al ., 2018gydF4y2Ba)。gydF4y2Ba

因此我们的研究结果表明,这样的事业复制研究还可以提高整体服务质量和严谨的科学工作。此外,如果执行原出版后不久,这样的深入分析可以导致更好的理解计算模型,从而进一步提高的可能性模型将基于它,,减少的可能性,这些模型包含不正确的实现或隐式(但关键)的假设。gydF4y2Ba

2。结果gydF4y2Ba

探讨如何通过时间序列变量时间皮质电路,gydF4y2Ba锥和Shouval (2021)gydF4y2Ba提出一个连锁的模块化体系结构,其中每个人口(模块)调到一个特定的元素序列,和学习翻译内突触权重的修改和模块之间基于奖励的信号。我们重新实现模型,最初在gydF4y2BaMATLABgydF4y2Ba使用开源软件gydF4y2Ba巢gydF4y2Ba。获取原始代码,我们重新实现版本,请看下面的数据可用性语句。gydF4y2Ba

模型示意图所示gydF4y2Ba图1一个gydF4y2Ba。培训期间后的模块是按照特定顺序刺激多个试验,网络应该能够召回/回放的完整序列从单一线索。如果学习是成功的,元素的顺序和时间都可以忠实地回忆道。gydF4y2Ba

最初,每个模块展品只有短暂的活动在回应一个短暂的刺激(50毫秒,见第四节),连接相对较弱。每个序列元素的持续时间由一个全局可用奖励信号标志,形成中央组件的地方强化学习规则基于两个竞争,Hebbian-modulated资格(痕迹gydF4y2Ba韦尔塔et al ., 2016gydF4y2Ba)。这synapse-specific规则是用于更新权重复发和前馈连接,负责的持续时间和过渡元素之间,分别。学习之后,这些权重是不同的加强,这样在线索回忆经常性活动编码当前元素的程度,而前馈预测刺激与下一个序列元素相关联的模块。gydF4y2Ba

模块大致对应于一个简化的柱状结构映射到L2/3和L5皮层。列是由两个兴奋的人群,gydF4y2Ba计时器gydF4y2Ba(gydF4y2BaTgydF4y2Ba),gydF4y2Ba信使gydF4y2Ba(gydF4y2Ba米gydF4y2Ba),和两个抑制人口有关gydF4y2Ba我gydF4y2Ba_TgydF4y2Ba和gydF4y2Ba我gydF4y2Ba_米gydF4y2Ba(gydF4y2Ba图1 bgydF4y2Ba),每个片段包含100生活神经元和conductance-based饱和突触(见第4节)。计时器细胞学会代表通过塑料复发关系期间,当信使细胞学习过渡到列与下一个序列元素相关联。注意,除非特别提到,前馈预测连续列对应于项目之间只存在在输入序列。换句话说,序列转换身体追踪从发病,只有权重学习(参见第3节)。Cross-inhibition列之间产生一个软赢家通吃(WTA)行为,确保只有一个列占主导地位的活动。gydF4y2Ba

2.1。序列学习和回忆gydF4y2Ba

这种模块化的架构允许系统强劲学习和回忆输入序列与变量时间跨度。gydF4y2Ba图1 cgydF4y2Ba描述了人口反应前后的网络学习四个时间间隔,500;1000;700;和1800 ms(参见图3gydF4y2Ba锥和Shouval, 2021gydF4y2Ba)。起初,一列产生短暂的刺激反应,刺激定时器和初始瞬变gydF4y2BalgydF4y2Ba_5gydF4y2Ba抑制细胞gydF4y2Ba我gydF4y2Ba_TgydF4y2Ba(见gydF4y2Ba图1 cgydF4y2Ba、上面板和插图)。与抑制燃烧速度衰减速度比计时器的由于高阈值和缺乏复发(见第4节),有一个短窗口当定时器的净激发细胞信使细胞引起更强的反应。gydF4y2Ba

培训期间,当每一列刺激顺序,反复计时器预测得到加强,他们的反应信号扩展到相应的奖励(绿色竖线)。同时,信使细胞的前馈预测到下一列也增强,这样在回忆第一列(刺激),它们足以引发强烈反应细胞在相应的定时器。这种连锁反应使一个完整的原始序列的重放,保持秩序和间隔。在回忆中说明了活动的传播gydF4y2Ba图1 dgydF4y2Ba(参见图3 s4gydF4y2Ba锥和Shouval, 2021gydF4y2Ba)。网络显示现实飙升统计(变异系数1.35和0.95的计时器和信使细胞),信使细胞有较低的发射率比计时器细胞,大致符合实验观测值(gydF4y2Ba刘et al ., 2015gydF4y2Ba)。gydF4y2Ba

2.2。学习和回忆精度gydF4y2Ba

模型展示学习过程和回忆的准确性的波动序列由于噪音和强化网络的随机性质。中间长度的序列,召回时间通常在±10 - 15%的目标不同持续时间(见gydF4y2Ba图2一个gydF4y2Ba(左)。然而,这个范围取决于几个参数,通常随时间或序列长度(见gydF4y2Ba补充图1gydF4y2Ba)。然而,平均在多个网络实例,这些影响减毒和学习变得更精确(gydF4y2Ba图2一个gydF4y2Ba,对吧)。gydF4y2Ba

这些波动也可以观察到突触权重。而复发性权重在计时器种群收敛于一个相对稳定的值大约70试验(见gydF4y2Ba图2 bgydF4y2Ba图3、底板和s2gydF4y2Ba锥和Shouval, 2021gydF4y2Ba),前馈重量显示更大的可变性在训练(上面板)。复发性连接,收敛到一个固定的点学习可以正式证明(见证据gydF4y2Ba锥和Shouval, 2021gydF4y2Ba)。作为Hebbian学习规则(见第4节),这两个相互竞争的LTP和有限公司资格痕迹被激活在复发性活动计时器。假设两个痕迹很快饱和,稍微更高的峰值,并给予更大时间常数的LTP跟踪,公司跟踪将很快衰减,导致复发的便利化突触奖励期间(gydF4y2Ba图2 cgydF4y2Ba上面板)。学习收敛当净区别两个痕迹是零回报的时候。gydF4y2Ba

前馈权重,更难获得解析解。由于Hebbian co-activation信使细胞和定时器的后续模块,痕迹被激活(非零)前不久奖励期间,暂时重置后奖励,和重新激活下一个试验(gydF4y2Ba图2 cgydF4y2Ba,下半部分)。净重改变因此跟踪分歧两个的和随后的奖励。学习经验,然而往往收敛到一些相对稳定的价值如果前馈预测编码列之间只存在后续的输入元素。然而,由于全球奖励信号可以在每个突触,所有从信使人口预测其他模块,在理论上,是方便,只要有一些时间co-activation。我们在2.5节详细说明这方面。gydF4y2Ba

2.3。模型的鲁棒性gydF4y2Ba

虽然正式学习只能保证收敛的复发计时器连接,gydF4y2Ba锥和Shouval (2021)gydF4y2Ba报告说,在实践中一些连接的模型表现强劲变化和学习参数。然而,参数值和序列长度的范围进行了分析gydF4y2Ba锥和Shouval (2021)gydF4y2Ba(见图5和补品)并没有给出一个完整的账户参数的影响和模型的局限性。更彻底地测试模型的鲁棒性,我们不同的突触权重和学习参数超出了那些被认为在最初的工作中,和测量的一致性在召回时期四个700毫秒间隔组成的序列。gydF4y2Ba

首先,我们不同的兴奋和抑制性投影信使细胞在一个专栏中,在一个时间间隔的±20%的基线值。这是探索范围gydF4y2Ba锥和Shouval (2021)gydF4y2Ba(见图5),但只有定性结果的人口活动报道,只有所有可能的组合的一个子集。在基线网络,平均17±50召回时间报道了140 ms(或20%正确的区间)当测量相对于他们的预期开始时间,而这些值15到22之间不同的测试参数配置(见gydF4y2Ba图3一gydF4y2Ba左上角)。平均在所有四列,离群值下降到11和15(之间的范围gydF4y2Ba图3一gydF4y2Ba左下角)。接下来,我们使用一个修改z分数基于平均绝对偏差(gydF4y2BaIglewicz Hoaglin, 1993gydF4y2Ba)评估的分布绝对回忆*(不是相对于预期出现)。这些都是集中在平均召回时间密切在每一列中,异常值减少的数量显著低于1.5(3%的召回试验,gydF4y2Ba图3一gydF4y2Ba,对吧)。这些结果表明,召回时间相对一致的每一列(勉强分布),但绝对偏离预期值增加序列中的元素的位置。gydF4y2Ba

换句话说,错误和变化积累与序列长度,网络是特别敏感的弱兴奋性连接计时器上(见Δ信使细胞gydF4y2BawgydF4y2Ba=−20%gydF4y2BaTgydF4y2Ba→gydF4y2Ba米gydF4y2Ba)。事实上,这些错误出现在回忆越来越短的间隔(gydF4y2Ba图3 bgydF4y2Ba(左),最后一列报告平均接近600 ms,而不是700 ms。所有列,平均中位数召回时间是更准确的。类似的结果获得了抑制的变化预测之间的列(gydF4y2Ba图3 bgydF4y2Ba,对吧)。gydF4y2Ba

模型显示类似的健壮性合格跟踪变化的时间常数τgydF4y2Ba^pgydF4y2Ba,τgydF4y2Ba^dgydF4y2Ba,gydF4y2Ba${\mathrm{\tau gydF4y2Ba}}_{\text{ffgydF4y2Ba}}^{\mathrm{pgydF4y2Ba}}$,gydF4y2Ba${\mathrm{\tau gydF4y2Ba}}_{\text{ffgydF4y2Ba}}^{\mathrm{dgydF4y2Ba}}$)和变量缩放Hebbian贡献跟踪动态(ηgydF4y2Ba^pgydF4y2Ba,ηgydF4y2Ba^dgydF4y2Ba,gydF4y2Ba${\mathrm{\eta gydF4y2Ba}}_{\text{ffgydF4y2Ba}}^{\mathrm{pgydF4y2Ba}}$,gydF4y2Ba${\mathrm{\eta gydF4y2Ba}}_{\text{ffgydF4y2Ba}}^{\mathrm{dgydF4y2Ba}}$,见第4节)。然而,在原来的工作分析是两个元素的序列的每个(参见图5-Supplement 1 500 msgydF4y2Ba锥和Shouval, 2021gydF4y2Ba),这里我们使用一个序列的四个700 ms的元素。相对于基线网络(gydF4y2Ba图3 cgydF4y2Ba(左),平均召回时间衰减与序列长度仅略,随机化的学习参数在每个学习试验不仅增加了平均召回时间所有列,但它也会导致更大的可变性的重播序列(gydF4y2Ba图3 cgydF4y2Ba中心)。随机化的学习参数一旦每个网络实例,平均而言,导致结果更接近基线情况,但进一步增加召回可变性在最后一列(gydF4y2Ba图3 cgydF4y2Ba分析不执行gydF4y2Ba锥和Shouval, 2021gydF4y2Ba)。gydF4y2Ba

这些结果说明该系统处理和中间基线参数扰动对信使的传入权重人口,cross-columnar抑制和学习规则变量。gydF4y2Ba

而计时器和信使细胞是负责维护一个序列元素活动和信号后续的发生,抑制人口的动态协调各个组件的时机。例如,通过他们的活动曲线特征,抑制细胞gydF4y2BalgydF4y2Ba_5gydF4y2Ba同时控制细胞信使的活动在自己的列和定时器的发病数量在下一篇专栏文章中。通过修改突触权重从计时器细胞抑制人口的列(gydF4y2BawgydF4y2Ba_{TgydF4y2Ba→gydF4y2Ba我gydF4y2BaTgydF4y2Ba}),因此控制直接激励,我们试图理解这些抑制性细胞如何影响学习。gydF4y2Ba

值明显低于基线(<−25%,灰色区域gydF4y2Ba图4一gydF4y2Ba),网络无法召回序列以可靠的方式(gydF4y2Ba图4 bgydF4y2Ba),在特定的序列包含两个以上的元素。此外,召回时间变化明显在列的情况下减少重量。随着重量的增加,净激发导致更持久的抑制越强gydF4y2Ba我gydF4y2Ba_{lgydF4y2Ba5gydF4y2Ba},延迟激活的信使细胞(gydF4y2Ba图4 cgydF4y2Ba)。这导致一个高估的元素与元素的持续时间,增加在序列中的位置(+Δ200 msgydF4y2BawgydF4y2Ba_{TgydF4y2Ba→gydF4y2Ba我gydF4y2BaTgydF4y2Ba}= 40%,gydF4y2Ba图4 dgydF4y2Ba)。gydF4y2Ba

虽然这些观察结果表明一个健壮的学习机制,也表明一个内在一致的模型的偏差报告间隔越来越短和更大的可变性在回忆的时候时间序列。gydF4y2Ba

2.4。模型的扩展gydF4y2Ba

在前面的部分中,我们调查的敏感性模型突触权重的选择,但一个更广泛的鲁棒性的定义还包括不变性的大小不同的人群。理想情况下,模型应该保持其动力和学习属性也较大的网络,而不需要手动校准系统的参数。在平衡的随机网络,增加了网络规模的一个因素gydF4y2Ba米gydF4y2Ba和减少突触权重的一个因素gydF4y2Ba$\sqrt{\mathrm{米gydF4y2Ba}}$应保持活动特征(gydF4y2Ba范Vreeswijk Sompolinsky, 1998gydF4y2Ba;gydF4y2BaLitwin-Kumar Doiron, 2012gydF4y2Ba;gydF4y2Ba范Albada et al ., 2015gydF4y2Ba)。模型研究这些系统有很大区别与特性,比如兴奋和抑制的比例(1:1,而不是4:1),或强周期性连接在小gydF4y2BaNgydF4y2Ba政权,导致显著的波动受噪音。此外,典型的激活模式基本序列学习和回放是更复杂的。这些因素表明,成功连接的扩展可能需要额外的修改。gydF4y2Ba

在模型的原始配方,每个人口(信使,计时器,抑制)包含100个神经元。研究模型的尺度gydF4y2BaNgydF4y2Ba′= 400,我们保持所有参数不变,所有无塑性的权重gydF4y2Ba$\mathrm{1gydF4y2Ba}/gydF4y2Ba\sqrt{{\mathrm{NgydF4y2Ba}}^{\mathrm{\prime gydF4y2Ba}}/gydF4y2Ba\mathrm{NgydF4y2Ba}}$(见gydF4y2Ba补充表4gydF4y2Ba)。在这样的标准扩展,系统无法学习和回忆序列(gydF4y2Ba图5一个gydF4y2Ba),主要是由于高发射率gydF4y2Ba我gydF4y2Ba_TgydF4y2Ba细胞。这些衰减慢于相应的定时器细胞,抑制计时器人口在随后的列,因此禁止一个正确的顺序激活在训练。gydF4y2Ba

然而,可以找到一组参数(参见第4部分gydF4y2Ba补充表4gydF4y2Ba)学习按预期展开;这是说明gydF4y2Ba图5 bgydF4y2Ba。这里的关键组件是活动的gydF4y2Ba我gydF4y2Ba_TgydF4y2Ba(见也gydF4y2Ba图4gydF4y2Ba)。这必须满足三个条件:第一,它必须衰变率略高于计时器人口在同一列;第二,它必须足够抑制计时器数量在所有其他列,使WTA动力学;第三,WTA抑制计时器数量必须足够弱,他们仍然可以在刺激被激活。实现这一目标的一个方法是通过进一步减少当地的权重gydF4y2BawgydF4y2Ba_{TgydF4y2Ba→gydF4y2Ba我gydF4y2BaTgydF4y2Ba}在一列和cross-columnar抑制gydF4y2Ba${\mathrm{wgydF4y2Ba}}_{{\mathrm{我gydF4y2Ba}}_{\text{TgydF4y2Ba}}^{\mathrm{我gydF4y2Ba}}\to gydF4y2Ba{\mathrm{TgydF4y2Ba}}^{\mathrm{jgydF4y2Ba}}}$。这表明,正确的参数,动态底层网络的学习过程是独立的大小。虽然这项工作的范围之外,可能扩展可以实现更大范围的模型尺寸,只要上述核心属性保留。gydF4y2Ba

2.5。预测之间的所有列gydF4y2Ba

在原始的实现gydF4y2Ba锥和Shouval (2021)gydF4y2Ba,在论文中描述相比,兴奋性预测列之间只被允许在一个前馈方式,因此硬连接的顺序序列元素。因为这样一个预先确定的和stimulus-dependent连接模式削弱了模型的生物合理性的要求,我们对模型的学习能力在这个约束放松。gydF4y2Ba

为此,我们延长了基线与额外的预测从信使细胞网络专栏gydF4y2BaCgydF4y2Ba_我gydF4y2Ba计时器细胞在所有其他列gydF4y2BaCgydF4y2Ba_jgydF4y2Ba,(gydF4y2Ba我gydF4y2Ba≠gydF4y2BajgydF4y2Ba中所描绘的一样)gydF4y2Ba图6gydF4y2Ba。这些预测的权值初始化接近0,没有必要进一步措施保持相同的活动水平基线网络。尽管最初学习开始之前,活动很快就失去了它的典型的时间结构和学习过程损坏(gydF4y2Ba图6 bgydF4y2Ba)。只有几十个试验后,不匹配的激活顺序列刺激,与多个种群同时响应。人口这样随机的,竞争激烈的反应也贯穿召回试验。gydF4y2Ba

这种行为是因为预测从信使细胞到所有列都错误地加强,后续之间不仅反映了输入序列的顺序。gydF4y2Ba图6 cgydF4y2Ba说明了这样一个例子,从信使细胞突触权重gydF4y2BaCgydF4y2Ba_2gydF4y2Ba所有其他列gydF4y2BaCgydF4y2Ba_jgydF4y2Ba同样被加强,而不是只gydF4y2BaCgydF4y2Ba_3gydF4y2Ba。自然,这种效应是不利的,因为信使细胞可以激活多个定时器的人群,网络中引入特性转化,废除了独特的顺序激活所需的准确的学习和回忆。换句话说,物理路径编码之间的转换序列元素不能唯一地追踪在基线网络。gydF4y2Ba

根据Hebbian-based可塑性规则(见第4节),突触权重修改奖励期间只有co-activation的预处理和突触后神经元。这意味着连接gydF4y2Ba米gydF4y2Ba细胞在一列gydF4y2BaCgydF4y2Ba_我gydF4y2Ba来gydF4y2BaTgydF4y2Ba细胞在任何gydF4y2BaCgydF4y2Ba_jgydF4y2Ba可能加强了如果有时间co-activation两个种群。虽然这是预期的行为随后列gydF4y2BaCgydF4y2Ba_我gydF4y2Ba和gydF4y2BaCgydF4y2Ba_{我gydF4y2Ba+ 1gydF4y2Ba}其他列、定时器细胞也可能由于背景噪声,从而提高相应的连接。显然,天生的(基线)网络中这不是一个问题,因为只有后续列相连。gydF4y2Ba

克服这个问题的一个简单解决方案是减少背景噪音低于阈值飙升,从而确保只有刺激人口是活跃的和不会发生“相声”通过虚假的飙升。这样做将允许网络恢复其功能属性(gydF4y2Ba图6 dgydF4y2Ba),等待一些微小的附加参数调优(见第4节)。然而,从生物合理性的观点,这缺点,神经元飙升只在他们喜欢的刺激。gydF4y2Ba

或者,可以弥补低利率自发飙升通过提高Hebbian术语的激活阈值,gydF4y2Ba${\mathrm{rgydF4y2Ba}}_{\text{thgydF4y2Ba}}^{\text{ffgydF4y2Ba}}$(见第4节)。例如,从20到30的基线值增加spks /秒足以确保只有刺激人口达到这些利率。因此,只有刺激人口之间的突触修改,学习过程不受影响(gydF4y2Ba图6 egydF4y2Ba)。阈值的作用和合理性是第三节中详细说明。gydF4y2Ba

2.6。选择与当地抑制线路gydF4y2Ba

与皮质电路,抑制被认为是本地(gydF4y2Ba道格拉斯和马丁,2004年gydF4y2Ba;gydF4y2Ba非诺Yuste, 2011gydF4y2Ba;gydF4y2BaTremblay et al ., 2016gydF4y2Ba),描述的原始建筑gydF4y2Ba图1 bgydF4y2Ba列之间的依赖(远程)抑制预测以确保软WTA机制的存在背景活动。这方面简要讨论gydF4y2Ba锥和Shouval (2021)gydF4y2Ba,作者也提出另一种生物更为合理和功能与网络架构(见图9)。如示意图所示gydF4y2Ba图7gydF4y2Ba,可以取代了当地cross-columnar抑制抑制这些电路和相应的兴奋性投影。在基线网络相比,计时器和抑制细胞gydF4y2BalgydF4y2Ba_5gydF4y2Ba刺激,这里只有计时器细胞接收输入。否则,激发到gydF4y2Ba我gydF4y2Ba_TgydF4y2Ba很快就会沉默计时器细胞,禁止长时间尺度所需编码输入时间。gydF4y2Ba

作为一个概念验证,我们经验导出一组参数(见gydF4y2Ba补充表5gydF4y2Ba)对于这样一个电路,发现核心网络动力学和学习过程,原则上,被保留(gydF4y2Ba图7 bgydF4y2Ba)。然而,一个重要的差异从基线行为问题的初始瞬态信使细胞在第一列中gydF4y2BaCgydF4y2Ba_1gydF4y2Ba(固体,深蓝色的曲线gydF4y2Ba图7 bgydF4y2Ba,下半部分)。这是因为在信使细胞抑制gydF4y2Ba我gydF4y2Ba_米gydF4y2Ba(虚线,深蓝色的曲线)(由于更高的发射阈值)的速度要比激发细胞从计时器。这导致更高的信使活动一段时间之前抑制接管和沉默。虽然这种行为从基线模型不同,它似乎并不影响学习,实际上是符合实验数据从初级视觉皮层(gydF4y2Ba刘et al ., 2015gydF4y2Ba)。gydF4y2Ba

3所示。讨论gydF4y2Ba

考虑到学习能力和召回时间序列可能是一个通用的功能构件皮质电路,最重要的是,我们明白如何实现这样的计算能力的神经基质。虽然有很多方法模型序列处理强化网络,这些要么是无法捕捉重要功能方面(例如,顺序和时间序列),或依靠生物物理结构或学习规则不切实际的假设。在这个工作我们调查了最近提出的模型gydF4y2Ba锥和Shouval (2021)gydF4y2Ba,它试图克服这些弱点。从这里我们特别关注重复性和复现性方面,我们的工作只提供了有限的原始模型的改进。因此,主要的修改,如修改学习规则或更复杂的序列学习的评价任务超出了我们的研究范围。然而,通过重新实现模型的巢模拟器,我们能够定性地复制原文的主要发现工作,找到一些关键部件和假设的模型,并强调其优势和局限性。更重要的是,我们提供一套完整的参数和模型的实现细节对一个完整的复制。计算研究越来越重要横跨多个学科,易于复制和复制成为一个越来越重要的因素,不仅允许高效的科学进步,而且以确保高质量的工作。这些观点都说明了一个明显的这项研究的结果:由于我们的发现(也可用预印本,gydF4y2BaZajzon et al ., 2023 agydF4y2Ba),原始研究的作者纠正他们的文章(gydF4y2Ba锥和Shouval, 2023gydF4y2Ba)和修改他们的代码发布,使完整的复制和正确的不一致和错误中发现他们的工作(见ModelDB更新存储库gydF4y2Ba^1gydF4y2Ba),如下面列出。gydF4y2Ba

3.1。再现性gydF4y2Ba

原模型中描述gydF4y2Ba锥和Shouval (2021)gydF4y2Ba,多数参数提供gydF4y2Ba补充材料gydF4y2Ba,连同ModelDB公开的MATLAB实现。然而,尽管结果是可再生的使用提供的实现的gydF4y2BaRgydF4y2Ba^3gydF4y2Ba所描述的感觉gydF4y2BaBenureau和鲁吉尔(2018)gydF4y2Ba成功的复制gydF4y2BaRgydF4y2Ba^5gydF4y2Ba感觉不可能完全基于手稿中的信息gydF4y2Ba补充表gydF4y2Ba,因为许多参数并没有或完全忽略。gydF4y2Ba表1gydF4y2Ba,gydF4y2Ba2gydF4y2Ba概述的原始描述和实现之间的重要差异,分类的相关性和类型不匹配。gydF4y2Ba

表1gydF4y2Ba列表中(或不准确陈述)关键参数,即。,those that are necessary for the model to carry out the computational tasks that are central to the original study. Such oversights are particularly problematic, as they not only make replication more challenging, but also make implicit model assumptions opaque. An illustrative example of an omitted critical parameter is the spiking threshold for the inhibitory neurons,VgydF4y2Ba_thgydF4y2Ba,是5 mv高于兴奋性神经元的阈值。这是很重要的,因为它导致抑制率衰减略高于计时器细胞,从而激活细胞信使在适当的时间。在缺乏这种动力特性的情况下,学习失败(见例如gydF4y2Ba图5一个gydF4y2Ba)。虽然有一些实验证据飙升的这样的差别阈值,它显著的变化在不同的细胞类型和记录位置(gydF4y2BaTripathy et al ., 2015gydF4y2Ba)。同样,Hebbian学习的激活阈值,gydF4y2BargydF4y2Ba_thgydF4y2Ba激增,是必要的,以确保自发产生的神经元噪声不会导致不必要的突触增强作用,特别是如果允许所有列(见之间的连接gydF4y2Ba图6gydF4y2Ba)。没有这样的阈值,学习仍然在基线网络收敛,但前馈的定点重量转移,稳定在一个较低的价值比基线系统(见gydF4y2Ba补充图2gydF4y2Ba)。因此,角色和最优值的阈值可能取决于网络中噪声和自发活动的数量。gydF4y2Ba

进一步的例子是合格的参数化的痕迹。而资格痕迹的时间常数决定他们的增长和衰减行为,饱和水平gydF4y2Ba${\mathrm{TgydF4y2Ba}}_{\text{马克斯gydF4y2Ba}}^{\mathrm{\alpha gydF4y2Ba}}$能深刻地影响学习。定时器的细胞,尽管其精确值(非原创作品中提供)并不重要,数量级仍然是关键;他们必须经过精心挑选,以确保痕迹饱和刺激出现后不久,和下降阶段开始之前下一个奖励期(见也gydF4y2Ba韦尔塔et al ., 2015gydF4y2Ba)。换句话说,即使参数空间underconstrained和多个值会导致准确的学习(gydF4y2Ba韦尔塔et al ., 2016gydF4y2Ba),这些不过躺在一个受限制的间隔是很难确定的,只有相对的值在原来的工作:例如,一个值gydF4y2Ba${\mathrm{TgydF4y2Ba}}_{\text{马克斯gydF4y2Ba}}^{\text{dgydF4y2Ba}}=gydF4y2Ba\mathrm{1gydF4y2Ba}$和gydF4y2Ba${\mathrm{TgydF4y2Ba}}_{\text{马克斯gydF4y2Ba}}^{\text{dgydF4y2Ba}}=gydF4y2Ba\mathrm{0gydF4y2Ba}。gydF4y2Ba\mathrm{95年gydF4y2Ba}$复发的计时器将导致突然增加重量和学习失败。如果痕迹不饱和,学习变得更加敏感,跟踪时间常数和时间间隔的范围,可以学会使用一组参数显著收缩。此外,兴奋性突触输入较短10 ms的时间常数比其它地区的网络,这是快速定时器的初始过渡阶段所需的细胞活动。gydF4y2Ba

表2gydF4y2Ba总结了其他不那么关键参数,仍然有必要实现定性相似活动水平在原来的工作。这些包括输入相关参数(输入重量、速度),以及神经元噪声。而这些差异是由于遗漏(如噪声)或报告和使用价值之间的不匹配(例如,学习速率),其他来自工具——特性和实现。例如,对于gydF4y2BaNgydF4y2Ba= 100 MATLAB的随机数生成的结果在一个有效的连接φ= 0.3 ~ 0.26,而不是在报道gydF4y2Ba锥和Shouval (2021)gydF4y2Ba,有效不应期是3而不是2毫秒,阈值口岸注册延迟的模拟步骤。虽然这些参数影响的水平的活动网络,他们不直接影响学习过程;模型维护的关键计算功能声称。gydF4y2Ba

3.2。学习cross-columnar预测gydF4y2Ba

模型的关键属性之一是学习能力的时间序列,通过学习stimulus-specific种群之间的转换编码序列元素。然而,gydF4y2Ba锥和Shouval (2021)gydF4y2Ba状态“信使细胞只能学习连接(任何)定时器细胞外的专栏中,“我们理解作为一个断言计时器细胞信使细胞连接所有其他列。在实践中,作者的参考实现限制这些后续的列。这意味着序列的顺序是硬连接,和系统只是学习元素的持续时间。在2.5中,我们演示了基线参数学习的网络失败如果这个限制是放松和前馈预测确实允许任何列之间。gydF4y2Ba

一种简单的方式来规避这个问题是确保当前刺激神经元外人口编码保持完全(或足够)沉默,以避免Hebbian所需的co-activation突触(见gydF4y2Ba图6 dgydF4y2Ba)。尽管这样一个理想化的行为可能是一个适当的解决方案从建模的角度看,皮层神经元很少专门对特定刺激。相反,大多数细胞不规则飙升(通常以较低的利率)即使没有输入(正在进行的活动,例如,gydF4y2BaArieli et al ., 1996gydF4y2Ba),许多应对多种不同的输入(gydF4y2Ba沃克et al ., 2011gydF4y2Ba;gydF4y2BaRigotti et al ., 2013gydF4y2Ba;gydF4y2Ba德弗里斯et al ., 2020gydF4y2Ba)。gydF4y2Ba

生物学上更合理的替代方法是增加Hebbian激活阈值gydF4y2BargydF4y2Ba_thgydF4y2Ba,这样噪音性自发活动不会导致突触强度的修改。然而,这将引入一个额外的,在模型中关键参数。此外,这样的硬阈值是耦合的强度背景活动和自发的飙升,偶尔也会有更高的利率可能不稳定的学习过程。gydF4y2Ba

3.3。功能和神经生理学方面的考虑gydF4y2Ba

从功能的角度来看,一个通用模型的序列处理应该能够执行各种相关的任务除了重复序列,如分割、学习组合序列,输入来处理不相邻的依赖关系(gydF4y2Ba惠誉和马丁斯,2014年gydF4y2Ba;gydF4y2Ba威尔逊et al ., 2018gydF4y2Ba;gydF4y2BaHupkes et al ., 2019gydF4y2Ba)。尽管如此,gydF4y2Ba锥和Shouval (2021)gydF4y2Ba讨论和提供一个基线的延伸网络高阶马尔可夫链的序列,计算模型的能力从根本上受制于一个独特的要求stimulus-column(或stimulus-population)映射。这个特性意味着对某些任务,如学习(分层)组成的序列(即。,sequences of sequences), the model size would increase prohibitively with the number of sequences, as one would require a dedicated column associated with each possible sequence combination. In addition, it would be interesting to evaluate the model's ability to recognize and distinguish statistical regularities in the input in tasks such as chunking, which involve one or more sequences interleaved with random elements.

在他们的研究中,gydF4y2Ba锥和Shouval (2021)gydF4y2Ba证明扩展率网络可以学习多,当这些先后提出了高阶马尔可夫链的序列。对于一阶马尔可夫链的序列,这也应该持有的基准飙升网络模型,取决于保留独特的stimulus-to-column映射。然而,同样重要的是要了解模型的行为当两个序列gydF4y2Ba同时gydF4y2Ba。这取决于解释和预期的行为,以及我们所知很少有实验和建模工作(但看,例如,gydF4y2Ba穆雷和葡方,2017年gydF4y2Ba)。然而,如果两个序列被认为是gydF4y2Ba独立的gydF4y2Ba我们推测,网络将无法学习和对待他们等多个原因。假设预测之间的所有列被允许(适当措施,见2.5),在强化模型之间的连接与不同的序列相关的列也会加强在颞co-activation:两个同时启动序列S1和S2, cross-columnar预测之间的列gydF4y2Ba${\mathrm{CgydF4y2Ba}}_{\text{我gydF4y2Ba}}^{\text{年代gydF4y2Ba}\mathrm{1gydF4y2Ba}}$与S1和另一个列gydF4y2Ba${\mathrm{CgydF4y2Ba}}_{\text{我gydF4y2Ba}+gydF4y2Ba\mathrm{1gydF4y2Ba}}^{\text{年代gydF4y2Ba}\mathrm{2gydF4y2Ba}}$编码为一个元素位置gydF4y2Ba我gydF4y2Ba在S2 + 1(错误地)加强。延伸率的情况下网络的上下文表示可能混合和干涉外部热源,和颞co-activation上面所讨论的问题也有可能发生。gydF4y2Ba

此外,收敛cross-columnar突触的学习取决于两个连续奖励时间的存在。在2.2中描述和演示gydF4y2Ba图2 cgydF4y2Ba,在第一次奖励(与当前序列元素)权重疗效,即使权重已经达到了定点。然而,第二个奖励,在此期间,权重是抑郁,有必要实现零差异LTP和有限公司痕迹较低的重量值。尽管学习收敛即使没有第二个奖励,不动点会有所不同(高),因此收敛性将发生更大的权重(可能太大,稳定的发射率)。考虑到奖励(新颖)信号是在全球范围内发布之前和之后都在解释每个序列元素gydF4y2Ba锥和Shouval (2021)gydF4y2Ba奖励的存在后,最后一个元素是保证,因此这不是一个问题刺激协议中使用的原始和我们的研究。另一方面,如果我们解释奖励作为一种新奇的信号指示下一个刺激,我们不会指望它在此表格后序列的最后一个元素。在这种情况下,cross-columnar预测标志着从倒数第二过渡到最终的元素可能不是学会了准确(权重仍收敛,但可能更大比适当的值)。gydF4y2Ba

同时解决上述问题已经超出了这个工作的范围,我们推测,更细粒度的体系结构,在多个stimulus-specific可以形成不同的细胞群体组件在一个专栏中,将更符合实验证据来自大脑皮层。一些功能专业化单皮质列已经假设(gydF4y2BaMountcastle 1997gydF4y2Ba;gydF4y2Ba哈里斯和牧羊人,2015年gydF4y2Ba),但这样的列通常是由许多细胞群体对更大范围的刺激。我们假设的模型映射到这样一个长柱状结构需要一个更复杂,spatially-dependent连接以确保类似WTA动力学。完全隔离的种群的要求调到独特的刺激,然而,更难以克服,与实验数据相吻合。虽然许多细胞的调谐曲线(但不是所有的,看到的gydF4y2Ba德弗里斯et al ., 2020gydF4y2Ba感觉皮质早期)确实是强大和夏普(gydF4y2Ba休博尔和维塞尔,1959gydF4y2Ba;gydF4y2BaBitterman et al ., 2008gydF4y2Ba),这些变得弱,更广泛的皮质在以下阶段的层次结构,在细胞通常表现出混合选择性(gydF4y2BaRigotti et al ., 2013gydF4y2Ba;gydF4y2Ba副食et al ., 2016gydF4y2Ba)。因此,更复杂的任务需要的混合表示不能容易概念化的上下文中提出的网络体系结构。gydF4y2Ba

在2.6中,我们演示了模型是相对灵活的对精确布线模式,只要某些核心,inhibition-related属性保存。鉴于远程预测在大脑皮层兴奋(通常是gydF4y2Ba道格拉斯和马丁,2004年gydF4y2Ba;gydF4y2Ba布朗和Hestrin, 2009年gydF4y2Ba),原来的架构(见gydF4y2Ba图1 bgydF4y2Ba)是难以置信的由于其依赖cross-columnar抑制。的相对轻松地调整线路只有当地的抑制作用是指示性的简单但功能强大的和模块化的计算机制,表明这些可能被用作构建块在更复杂的序列学习架构。gydF4y2Ba

尽管有这些限制和对一些参数的敏感性,提出的模型gydF4y2Ba锥和Shouval (2021)gydF4y2Ba更好的理解是一个重要的一步皮质电路如何处理时间信息。而其模块化结构使空间隔离表示可能更早些时候感觉地区特点,提出基于奖励当地学习规则,部分解决信贷分配问题,是一个更普遍机制可能发生在大脑皮层。gydF4y2Ba

4所示。材料和方法gydF4y2Ba

序列学习模型分析在这项研究中详细描述的原创作品gydF4y2Ba锥和Shouval (2021)gydF4y2Ba。然而,考虑到模型描述和实现之间的许多差异(见第三节),我们目前的所有关键属性和参数是必要的对于一个成功的复制的结果,包括章节2.5和2.6的扩展体系结构研究。gydF4y2Ba

4.1。网络体系结构gydF4y2Ba

中央的特征(见网络体系结构是模块化的柱状结构gydF4y2Ba图1一个gydF4y2Ba,gydF4y2BaBgydF4y2Ba),每一个地方gydF4y2BaNgydF4y2Ba_CgydF4y2Ba列与一个独特的序列元素(刺激)。每一列包含两个兴奋(定时器和信使)和两个抑制人口有关gydF4y2Ba我gydF4y2Ba_TgydF4y2Ba和gydF4y2Ba我gydF4y2Ba_米gydF4y2Ba,大致相当于gydF4y2BalgydF4y2Ba_5gydF4y2Ba和gydF4y2BalgydF4y2Ba_2/3gydF4y2Ba在大脑皮层。在下面,我们将参考这些细胞群gydF4y2BaTgydF4y2Ba^我gydF4y2Ba,gydF4y2Ba米gydF4y2Ba^我gydF4y2Ba,gydF4y2Ba${{\mathrm{我gydF4y2Ba}}_{\text{TgydF4y2Ba}}}^{\mathrm{我gydF4y2Ba}}$,gydF4y2Ba${{\mathrm{我gydF4y2Ba}}_{\text{米gydF4y2Ba}}}^{\mathrm{我gydF4y2Ba}}$分别上标gydF4y2Ba我gydF4y2Ba表示列gydF4y2BaCgydF4y2Ba_我gydF4y2Ba。gydF4y2Ba

上述每个种群组成gydF4y2BaNgydF4y2Ba= 100漏integrate-and-fire神经元,除了网络模拟在2.4gydF4y2BaNgydF4y2Ba= 400。基线网络中使用的接线图gydF4y2Ba锥和Shouval (2021)gydF4y2Ba是示意图所示gydF4y2Ba图1 bgydF4y2Ba。在一个为C_i列,gydF4y2BaTgydF4y2Ba^我gydF4y2Ba细胞连接gydF4y2Ba${{\mathrm{我gydF4y2Ba}}_{\text{TgydF4y2Ba}}}^{\mathrm{我gydF4y2Ba}}$和gydF4y2Ba米gydF4y2Ba^我gydF4y2Ba,除了反复连接到其他gydF4y2BaTgydF4y2Ba^我gydF4y2Ba细胞。gydF4y2Ba米gydF4y2Ba^我gydF4y2Ba神经元激发当地抑制人口gydF4y2Ba${{\mathrm{我gydF4y2Ba}}_{\text{米gydF4y2Ba}}}^{\mathrm{我gydF4y2Ba}}$,抑制了gydF4y2Ba${{\mathrm{我gydF4y2Ba}}_{\text{TgydF4y2Ba}}}^{\mathrm{我gydF4y2Ba}}$。抑制兴奋性细胞之间也存在列在一个分层的方式,也就是说,gydF4y2Ba${{\mathrm{我gydF4y2Ba}}_{\text{TgydF4y2Ba}}}^{\mathrm{我gydF4y2Ba}}\to gydF4y2Ba{\mathrm{TgydF4y2Ba}}^{\mathrm{jgydF4y2Ba}}$和gydF4y2Ba${{\mathrm{我gydF4y2Ba}}_{\text{米gydF4y2Ba}}}^{\mathrm{我gydF4y2Ba}}\to gydF4y2Ba{\mathrm{米gydF4y2Ba}}^{\mathrm{jgydF4y2Ba}}$,gydF4y2Ba我gydF4y2Ba≠gydF4y2BajgydF4y2Ba。最后,gydF4y2Ba米gydF4y2Ba^我gydF4y2Ba细胞gydF4y2BaCgydF4y2Ba_我gydF4y2Ba以前馈方式连接gydF4y2BaTgydF4y2Ba^{我gydF4y2Ba+ 1gydF4y2Ba}细胞在随后的列gydF4y2BaCgydF4y2Ba_{我gydF4y2Ba+ 1gydF4y2Ba}。不同人群之间的所有连接在同一个和φ= 0.26的密度。注意,只有前馈的预测gydF4y2Ba米gydF4y2Ba^我gydF4y2Ba→gydF4y2BaTgydF4y2Ba^{我gydF4y2Ba+ 1gydF4y2Ba}和复发性gydF4y2BaTgydF4y2Ba^我gydF4y2Ba→gydF4y2BaTgydF4y2Ba^我gydF4y2Ba连接受到可塑性(见下图);所有其他连接是静态的。塑料重量接近0和静态初始化权重通常分布在他们的平均值与标准差为1。gydF4y2Ba

参数的完整的体系结构提出了gydF4y2Ba锥和Shouval (2021)gydF4y2Ba以及下面描述的变量中指定gydF4y2Ba补充材料gydF4y2Ba。gydF4y2Ba

以下4.4.1。按比例缩小的模型gydF4y2Ba

2.4中描述的扩展网络模型,神经元的数量在每个人口增加gydF4y2BaNgydF4y2Ba′= 400gydF4y2BaNgydF4y2Ba= 100。保持输入方差不变,在标准的扩展场景(gydF4y2Ba图5一个gydF4y2Ba我们遵循平衡的随机网络的常见方法(gydF4y2Ba范Vreeswijk Sompolinsky, 1998gydF4y2Ba;gydF4y2BaLitwin-Kumar Doiron, 2012gydF4y2Ba)和减少所有无塑性的突触权重乘以他们gydF4y2Ba$\mathrm{1gydF4y2Ba}/gydF4y2Ba\sqrt{{\mathrm{NgydF4y2Ba}}^{\mathrm{\prime gydF4y2Ba}}/gydF4y2Ba\mathrm{NgydF4y2Ba}}$。此外,我们一半标准差σgydF4y2Ba_ξgydF4y2Ba背景噪音,这样的发射率在相同的范围基线网络。恢复网络的功能方面,需要更多的调优的预测(见gydF4y2Ba补充表4gydF4y2Ba)。gydF4y2Ba

4.1.2。所有cross-columnar连接gydF4y2Ba

在2.5中,基线网络被实例化改性塑料兴奋所有列之间的连接gydF4y2Ba米gydF4y2Ba^我gydF4y2Ba→gydF4y2BaTgydF4y2Ba^jgydF4y2Ba,(gydF4y2Ba我gydF4y2Ba≠gydF4y2BajgydF4y2Ba列之间的),而不是仅仅代表连续刺激的元素(见gydF4y2Ba图6gydF4y2Ba)。与基线相比网络gydF4y2Ba图6 bgydF4y2Ba,gydF4y2BaCgydF4y2Ba,所有其他参数都不变。gydF4y2Ba

此外,对于低背景噪音的场景gydF4y2Ba图6 dgydF4y2Ba我们设置gydF4y2BawgydF4y2Ba_{TgydF4y2Ba→gydF4y2Ba我gydF4y2BaTgydF4y2Ba}= 0.23 ns,gydF4y2Ba我gydF4y2Ba_米gydF4y2Ba= 0.21 ns和gydF4y2BawgydF4y2Ba_在gydF4y2Ba= 110 ns。为gydF4y2Ba图6 dgydF4y2Ba,只有gydF4y2Ba我gydF4y2Ba_米gydF4y2Ba= 0.21 ns从0.2 ns。gydF4y2Ba

4.1.3。选择与当地抑制线路gydF4y2Ba

功能与网络分析多个修改(见2.6要求gydF4y2Ba图7gydF4y2Ba)。抑制本地连接相应的层,连接gydF4y2Ba${{\mathrm{我gydF4y2Ba}}_{\text{TgydF4y2Ba}}}^{\mathrm{我gydF4y2Ba}}\to gydF4y2Ba{\mathrm{TgydF4y2Ba}}^{\mathrm{我gydF4y2Ba}}$和gydF4y2Ba${{\mathrm{我gydF4y2Ba}}_{\text{米gydF4y2Ba}}}^{\mathrm{我gydF4y2Ba}}\to gydF4y2Ba{\mathrm{米gydF4y2Ba}}^{\mathrm{我gydF4y2Ba}}$。计时器的细胞gydF4y2BaTgydF4y2Ba^我gydF4y2Ba两个项目gydF4y2Ba米gydF4y2Ba^我gydF4y2Ba和gydF4y2Ba${{\mathrm{我gydF4y2Ba}}_{\text{米gydF4y2Ba}}}^{\mathrm{我gydF4y2Ba}}$,以及gydF4y2Ba${{\mathrm{我gydF4y2Ba}}_{\text{TgydF4y2Ba}}}^{\mathrm{jgydF4y2Ba}}$在其他列gydF4y2BaCgydF4y2Ba_jgydF4y2Ba。在层gydF4y2BalgydF4y2Ba_2/3gydF4y2Ba,gydF4y2Ba米gydF4y2Ba^我gydF4y2Ba细胞工程gydF4y2BaTgydF4y2Ba^{我gydF4y2Ba+ 1gydF4y2Ba}和gydF4y2Ba${{\mathrm{我gydF4y2Ba}}_{\text{米gydF4y2Ba}}}^{\mathrm{jgydF4y2Ba}},gydF4y2Ba\mathrm{我gydF4y2Ba}\ne gydF4y2Ba\mathrm{jgydF4y2Ba}$。gydF4y2Ba

4.2。神经元模型gydF4y2Ba

网络是由漏integrate-and-fire(生活)神经元,固定电压阈值和conductance-based突触。膜电位的动态gydF4y2BaVgydF4y2Ba_我gydF4y2Ba对神经元gydF4y2Ba我gydF4y2Ba如下:gydF4y2Ba

leak-conductance在哪里的gydF4y2BaggydF4y2Ba_lgydF4y2Ba,gydF4y2Ba${\mathrm{我gydF4y2Ba}}_{\mathrm{我gydF4y2Ba}}^{\text{EgydF4y2Ba}}$和gydF4y2Ba${\mathrm{我gydF4y2Ba}}_{\mathrm{我gydF4y2Ba}}^{\text{我gydF4y2Ba}}$代表总兴奋和抑制性突触输入电流,和ξ噪声项与标准差σ建模为高斯白噪声gydF4y2Ba_ξgydF4y2Ba= 100,除非另有说明。这噪音项足以引起低基线活动大约1−2 spks /秒。在达到一个阈值gydF4y2BaVgydF4y2Ba_thgydF4y2Ba=−55 mv (−50 mv抑制性神经元),电压是重置gydF4y2BaVgydF4y2Ba_{重置gydF4y2Ba}的不应期gydF4y2BatgydF4y2Ba_{裁判gydF4y2Ba}= 3。注意,阈值越高抑制性神经元对衰减越快至关重要的活动相比,计时器细胞。gydF4y2Ba

突触传导的动态建模与一种适应性指数函数项,固定的和等于所有突触传导延迟类型。模型的方程动力学,以及总结了所有参数的数值gydF4y2Ba补充表1gydF4y2Ba- - - - - -gydF4y2Ba3gydF4y2Ba。gydF4y2Ba

在所有这些估计数据描述发射率,从高峰火车使用指数滤波器时间常数τgydF4y2Ba_rgydF4y2Ba= 40毫秒。gydF4y2Ba

4.3。Eligibility-based学习规则gydF4y2Ba

学习规则的主要假设是两个突触资格的可用性在每个突触痕迹gydF4y2Ba${\mathrm{TgydF4y2Ba}}_{\mathrm{我gydF4y2Ba}\mathrm{jgydF4y2Ba}}^{\mathrm{pgydF4y2Ba}}$和gydF4y2Ba${\mathrm{TgydF4y2Ba}}_{\mathrm{我gydF4y2Ba}\mathrm{jgydF4y2Ba}}^{\mathrm{dgydF4y2Ba}}$,代表长期势差(LTP)和抑郁(有限公司),并可同时激活通过Hebbian射击模式。gydF4y2Ba

为gydF4y2Ba一个gydF4y2Ba∈{gydF4y2Bap、dgydF4y2Ba},的动态跟踪:gydF4y2Ba

在τgydF4y2Ba^{一个gydF4y2Ba}是时间常数,ηgydF4y2Ba^{一个gydF4y2Ba}是一个比例因子,gydF4y2Ba${\mathrm{TgydF4y2Ba}}_{\text{马克斯gydF4y2Ba}}^{\mathrm{一个gydF4y2Ba}}$跟踪的饱和水平。gydF4y2BaHgydF4y2Ba_ijgydF4y2Ba(gydF4y2BatgydF4y2Ba)是Hebbian术语定义为产品的预处理和突触后神经元的放电率:gydF4y2Ba

与gydF4y2BargydF4y2Ba_thgydF4y2Ba(gydF4y2Ba${\mathrm{rgydF4y2Ba}}_{\text{thgydF4y2Ba}}^{\text{ffgydF4y2Ba}}$代表不同的复发性阈值)gydF4y2BaTgydF4y2Ba来gydF4y2BaTgydF4y2Ba(前馈gydF4y2Ba米gydF4y2Ba来gydF4y2BaTgydF4y2Ba)连接。注意,虽然这个方程中使用原始的MATLAB实现和在我们重新在鸟巢,Hebbian条件方程gydF4y2Ba锥和Shouval (2021)gydF4y2Ba是进一步规范化gydF4y2Ba${\mathrm{TgydF4y2Ba}}_{\text{马克斯gydF4y2Ba}}^{\mathrm{一个gydF4y2Ba}}$。学习收敛的详细分析,看到最初的研究。gydF4y2Ba

这些活动产生资格痕迹是沉默和瞬态突触标记,可以转化为长期突触强度的变化到第三个因素,gydF4y2BaRgydF4y2Ba(gydF4y2BatgydF4y2Ba),是建模作为全球使用δ函数信号,gydF4y2BaRgydF4y2Ba(gydF4y2BatgydF4y2Ba)=δ(gydF4y2BatgydF4y2Ba−gydF4y2BatgydF4y2Ba_{奖励gydF4y2Ba}−gydF4y2BadgydF4y2Ba_{奖励gydF4y2Ba}在每个发布的),被认为是刺激发病/抵消。尽管通常使用这种编码的信号gydF4y2Ba奖励gydF4y2Ba他们还可以,这里的情况,被陷害gydF4y2Ba新奇的事物gydF4y2Ba信号显示一个新的刺激。因此,突触权重gydF4y2BawgydF4y2Ba_ijgydF4y2Ba通过更新gydF4y2Ba

η(ηgydF4y2Ba_ffgydF4y2Ba前馈)是学习速率。奖励的信号后,持续时间25 ms,痕迹资格是“消费”和重置为零,和他们的激活被设置成一个短的不应期25 ms。在实践中,虽然重量更新跟踪和发展每个奖励期间根据方程(4),他们只是更新的最后审判。然而,这并不影响结果以任何有意义的方式(数据没有显示)。gydF4y2Ba

4.4。刺激协议gydF4y2Ba

刺激输入信号建模为50毫秒步骤,编码为泊松率ν高峰列车gydF4y2Ba_在gydF4y2Ba= 30 spks /秒。在基线和扩展网络讨论2.5,这个输入注入gydF4y2BaTgydF4y2Ba^我gydF4y2Ba和gydF4y2Ba${{\mathrm{我gydF4y2Ba}}_{\text{TgydF4y2Ba}}}^{\mathrm{我gydF4y2Ba}}$细胞,突触权重gydF4y2BawgydF4y2Ba_在gydF4y2Ba。在2.6讨论的网络中,输入是受限制的gydF4y2BaTgydF4y2Ba^我gydF4y2Ba。gydF4y2Ba

网络的训练过程实例由100次试验(除非另有说明),并在每个试验中相应的列是刺激在某些时间点根据输入序列,与元素之间的间隔表示刺激的持续时间。在每个试验的开始,神经元的状态(膜电位)和资格痕迹重设初始值。测试包含多个阶段试验(通常是50),序列的重播在第一列的暗示刺激。gydF4y2Ba

4.5。数值模拟和分析gydF4y2Ba

所有的数值模拟进行了使用修改后的版本的功能神经体系结构(FNA)工具包v0.2.1 (gydF4y2BaDuarte et al ., 2021gydF4y2Ba),一个高级Python框架创建、模拟和评估复杂,以模块化的方式强化神经微电路。它建立在巢pyne接口(gydF4y2BaGewaltig Diesmann, 2007gydF4y2Ba),它提供了核心模拟引擎。确保所有给出的数值实验和数据的复制在这项研究中,并遵守建议提出gydF4y2Ba泡利et al。(2018)gydF4y2Ba,我们提供一个完整的代码包,实现在FNA)(见具体项目的功能gydF4y2Ba补充材料gydF4y2Ba使用巢2.20.0)(gydF4y2BaFardet et al ., 2020gydF4y2Ba)。一致性检查的参考实现中,我们使用gydF4y2BaMATLABgydF4y2BaR2020b版本。gydF4y2Ba

数据可用性声明gydF4y2Ba

所有相关的数据和代码可在公共Zenodo库gydF4y2Bahttps://doi.org/10.5281/zenodo.6418714gydF4y2Ba(gydF4y2BaZajzon et al ., 2023 bgydF4y2Ba,看到也gydF4y2Ba补充材料gydF4y2Ba)。MATLAB代码中使用gydF4y2Ba锥和Shouval (2021)gydF4y2Ba和修正中引用(gydF4y2Ba锥和Shouval, 2023gydF4y2Ba)可以在ModelDB存储库中找到gydF4y2Bahttp://modeldb.yale.edu/266774gydF4y2Ba。gydF4y2Ba

作者的贡献gydF4y2Ba

,RD,我设计的学习和写作手稿。BZ重新实现模型和执行所有的模拟和分析。所有作者的文章和批准提交的版本。gydF4y2Ba

资金gydF4y2Ba

这项工作已收到部分主动权和网络的支持基金亥姆霍兹联合会,亥姆霍兹组合主题超级计算和建模对于人类的大脑,和德国联邦政府和州政府的卓越计划(G: (de - 82) EXS-SF-neuroIC002]。开放获取出版由德意志Forschungsgemeinschaft(脱硫、德国研究基金会)-491111487。gydF4y2Ba

确认gydF4y2Ba

作者欣然承认计算时间给予JARA-HPC Vergabegremium超级计算机JURECA (gydF4y2Baj超级计算中心,2021年gydF4y2Ba在j Forschungszentrum)。此外,我们要感谢Charl林森神经科学实验室模拟和数据支持神经元和突触模型实现。gydF4y2Ba

的利益冲突gydF4y2Ba

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。gydF4y2Ba

出版商的注意gydF4y2Ba

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。gydF4y2Ba

补充材料gydF4y2Ba

本文的补充材料在网上可以找到:gydF4y2Bahttps://www.雷竞技rebatfrontiersin.org/articles/10.3389/fnint.2023.935177/full补充材料gydF4y2Ba

脚注gydF4y2Ba

引用gydF4y2Ba