评论文章

前面。昆虫科学。,23January 2023
秒。昆虫神经生物学
卷3 - 2023 | https://doi.org/10.3389/finsc.2023.1016277

ct机和深度学习:现代技术在昆虫形态学和神经科学和应用程序

Thorin琼森 ^*

生物学研究所Karl-Franzens-University格拉茨,奥地利格拉茨

现代成像技术和计算机技术的进步导致了稳步上升的使用微型电脑断层扫描(µCT)在许多生物领域。在动物研究中,这对于生产高分辨率快速、非破坏性的方法,两个,三维图像越来越多地用于外部和内部的功能分析解剖的动物。µCT特此不再局限于特定的生物组织的分析在医学或临床前上下文,但可以结合多种造影剂研究形式和功能的各种各样的组织和物种,从哺乳动物和爬行动物、鱼和微小的无脊椎动物。同时,人工智能领域的进步,特别是在深度学习,已经彻底改变了计算机视觉和促进了自动、快速和更准确的分析两个——和三维图像数据集。在这里,我想给一个简短的概述的微型电脑断层扫描和深度学习和展示他们最近的应用,特别是在科学领域的昆虫。此外,这两种方法的结合研究神经组织和由此产生的潜力分析昆虫感官系统,从受体结构通过大脑神经通路,进行了讨论。

介绍

技术的进步在过去的几十年让研究者们许多新的工具和方法,开辟了迄今为止不太平易近人,甚至难以接近的科学领域或使已经建立了领域的突破。发生了一些最明显的进步计算机技术的发展,计算能力和可用空间来存储和访问信息增加附近指数在过去的50年(1)。这个计算革命推动的发展和崛起,在许多其他人来说,先进的成像技术以及人工智能(AI)的子字段机和深度学习。在这里,我现在的概述(一定小)选择的那些迅速扩大领域的最新进展,重点是x射线微型电脑断层扫描(µCT)和AI-supported方法来分析和解释两和三维(分别为2 d和3 d)与µCT图像数据聚集。对于这两个领域,我将给一个简短的介绍和演示这些技术和方法可以结合具体阐明昆虫的外部和内部形态;他们的外形式以及神经结构。

x射线微型电脑断层扫描

介绍

发展以来的第一个x射线计算机断层扫描(CT)扫描,戈弗雷Hounsfield在1970年代早期(2),CT扫描仪已经成为几乎无处不在的世界各地的医院的快速、广泛的病态的非侵入性检测,从脑动脉瘤骨折和肿瘤。随着便宜的扫描单元和提高图像分辨率,CT也变得越来越有趣的工具,生物学家研究生物体的内部和外部形态的兴趣。

许多优秀的评论描述发展存在,函数和CT的许多用途,µCT详细在医学和自然科学(例如,2- - - - - -9)。因此,这里只简要解释方法:一般来说,在商用µCT扫描仪用于实验室(也称为桌面扫描仪),x射线产生的减速快电子x光管和导演在锥形束对样本放在一个旋转舞台前的2 d探测器阵列。遍历样例,x射线衰减,衰减或吸收的数量取决于电子密度和化学元素的原子序数在样例(10)。探测器收集的x射线衰减形式的2 d x射线图像,称为x光照片。样品然后在小角间隔和旋转图像每一步,导致许多100年代或1000年代的数据集的射线照片。使用过滤后投影或迭代重建算法(7,11),二维层析图像(轴向截面或ortho-slices)整个样本的生成,形成一个完整的三维重建的基础,其中每个立体像素的灰度值表示这个样品的体积元素的x射线衰减。两个二维层析图像和三维重建可以用来探索样本的内部和外部结构定性和定量。

µCT的主要优势在古典解剖学和形态学研究的技术当然是无损的可能性和无创性创建整个体积的3 d重建完整的生物体在一个相对短的时间内由于最小的样品制备,快速图像采集和精简数据后处理(12)。这是形成鲜明对比的是截面图像重建使用费时的和破坏性的组织学方法包括复杂的染色和嵌入协议,切片机切片,手动安装和连续成像光学显微镜的样品(LM)或共焦激光扫描显微镜(样品形貌)。缺点,另一方面,大多数µCT扫描仪的相对较低的图像分辨率与样品形貌和LM(相比一般~ 200海里;阿贝衍射极限。13)在软组织和缺乏对比。后者是由于低吸收率的x光在生物组织中主要含有low-Z元素(原子序数低;例如,碳、氧、氮),导致大部分均匀密度图像数据模式(10,14,15)。为了克服这个问题,可以使用各种对比或染色剂来增加组织的对比。对比剂通常是由高红移的元素绑定到组织,提高x射线吸收,因此图像的对比。常见的染色方法包括碘元素(例如,Lugol碘化钾碘溶液),钨(磷钨酸;PTA)、锇(四氧化锇)、铅(硝酸铅或醋酸铅)或银(Bodian减少银染色或高尔基染色)。这里的读者指10,15- - - - - -17充当深入评估解决方案和方法。大多数这些造影剂相对非特异性染色。例如,碘是一般被lipid-rich软组织,PTA结合各种蛋白质纤维蛋白和胶原蛋白和高尔基染色法染色神经元随机(10,15)。提高选择性的充当污渍适合µCT,最近的研究采用免疫组织化学方法,耦合特异性神经元抗体与金纳米粒子有选择地在小鼠神经元细胞核染色(9,18)。这种方法相结合的传统immunohistological染色协议X-ray-absorbing纳米粒子仍然是新的但是有潜力大幅使用µCT提高神经系统的定量分析。

另一种生产高对比度图像和三维模型的柔软和神经组织是使用相差µCT (PC-µCT)。x射线通过物质时不仅吸收但电磁波也进行相移与不同材料的边界密度和折射率。相移沿材料边界可以分析和用来重建图像与高edge-contrast组织之间不需要对比剂。检测这些变化的阶段,需要并行和高度一致的x射线,所以使用相差µCT通常是狭隘的同步加速器beamlines (15,19,20.;然而,看到21- - - - - -23明显的例外)。虽然这使得synchrotron-based PC-µCT技术不像一般访问absorption-contrastµCT使用实验室桌面扫描仪,需要考虑有一定的优势:使用PC-µCT最大空间分辨率是大大增加,达到10 - 50 nm /体素,根据样品尺寸(通常为代价的一个高度降低的视野;15,22,24)。此外,图像采集同步加速器设施可以快了1000倍商用µCT扫描仪相比,允许高样品处理量和快速的集合时间序列扫描(9,15,25;看看下面的例子)。在沃克et al .,例如,作者提出了时间分辨(毫秒级)层析数据显示绿头苍蝇的力学和运动学(Calliphora蚂蚁体内胸)在3 d拴在飞行过程中飞行汽车解决~ 3µm /体素(26)。

µCT和昆虫神经科学

虽然医学CT扫描仪只允许识别的早期生成相当大,划定解剖结构像脑部肿瘤,主要血管(血管造影术)或骨骼(裂缝检测和密度测量),稳步提高扫描速度和空间分辨率导致增加使用CT在小型动物临床前研究(主要是啮齿动物;在和体外;3,4,6)。传统医学的相对低分辨率CTs阻止了这一技术的广泛使用为无脊椎动物形态。从2000年代开始,然而,与空间分辨率下µCT ~ 5µm越来越广泛使用(和负担得起的),导致昆虫形态学“复兴”在未来几年(27,28)。今天,许多桌面µCT扫描仪可以经常实现各向同性的决议到1 - 2µm /体素,一些商用高端扫描仪现在甚至接近纳米级分辨率-0.2 ~ 0.4µm /体素(8,29日,30.)。此外,最近几年也看到实验室的发展进步相衬显微镜的CT扫描仪分辨率在0.5 - -0.1µm,临近空间分辨率可以在同步加速器beamlines (21,22)。

这些µCT技术的进步不仅可行使用CT作为一种工具在昆虫形态学(例如,幼虫发展:31日,32;运动:25,33;肌肉系统:19,34;呼吸:35,36;愿景:37,38;机翼结构:39,40),但也探讨中枢神经系统(CNS)的昆虫。在2007年,例如,弘水谷等人的大脑成像幼虫黑腹果蝇使用synchrotron-basedµCT ~ 1µm /体素的一项决议。作者可以想象发展中食管上神经节的主要组件,包括视叶和蘑菇体的总花梗。3 d视图的大脑还包括神经元胞体和轴突(41)。一年后,Ribi et al。(42),第一个应用程序提供的实验室µCT-system扫描和三维可视化的无脊椎动物的大脑。在这里,作者扫描整个头的蜜蜂的蜜蜂与四氧化锇染色7µm /立体像素的分辨率。在生成的3 d重建,主要的大脑神经纤维网(前脑、触角和视叶以及蘑菇体和一些子结构)呈现良好划定,证明方法的适用性昆虫神经科学(42)。在16、3 d和2 d视图的草蜻蛉头沾碘和mantophasmid胫骨沾PTA和扫描更低分辨率的实验室提出了µCTµm 2和0.9,分别。草蜻蛉的头,个人复眼和视叶的层(板、髓质lobula),清楚地阐述和其他大脑神经纤维网蘑菇体的总花梗和花萼。在胫骨的3 d模型,一些个体的感官细胞以及scolopidial器官可以区分(16)。基础上的开创性工作Ribi et al。(42)史密斯et al。(43)精制和PTA-staining程序适应染色的大脑19大黄蜂(Bombus terrestris),随后µCT-scanned决议从3.1 - -4.6µm /体素。结果3 d重建被第一次使用量化大脑异速生长和产量的差异蜜蜂大脑神经纤维网(43)。扩大在这工作,史密斯et al。(44)利用他们现有的协议扫描和段78名成人的大脑大黄蜂工人暴露于烟碱类杀虫剂杀虫剂在开发或控制蔗糖溶液。进行容量分析大脑神经纤维网,作者可能表明蘑菇体花萼的工人暴露在杀虫剂相比显著降低相对量控制蜜蜂和这个负面影响他们的行为在学习和响应性测试。洛特et al。(45),那么史密斯收集的数据的重用部分et al。(44)构建第一个3 d昆虫脑图谱对样品形貌数据基于µCT代替。阿特拉斯看到所有主要的大脑神经纤维网b . terrestris,包括中央等较小的复杂及其分赛区,前视结节和子结构的蘑菇体花萼。此外,几个显著神经束连接不同的神经纤维网进行标识。虽然作者也一些单个神经元及其投影映射到中央复杂,这些都是通过经典的免疫染色方法和样品形貌呈现,没有单个神经元可见CT数据本身(45)。相比之下,Ribi和Zeil (46)成功地追踪所有大眼球中间神经元的起源和投影区域(L-neurons)兰花蜜蜂(Euglossa广场)大脑沾四氧化锇和µCT扫描3µm /立体像素的分辨率。使用fibre-tracing方法,作者重建个人树突的起源,眼球的27个L-neurons plexi(视网膜感觉下面),按照他们的路径ipsi——或侧前脑内终止靠近光学(lobula)和mechanosensory(触角叶)中间神经元。同时识别和重建的大纤维直径(22µm)和他们的主要分枝证明不成问题的决议,作者也承认,细分枝和分支模式,从而准确的连接性,不解决(46)。

通过这些例子,它变得明显,结合适当的染色协议和体素决议低µm-range足以获得一般了解昆虫中枢神经系统组织(甚至结束它的一些功能;44),至少在大脑神经纤维网的水平。~ 1 - 3µm /决议的体素(现在可以实现许多桌面µCTs),一些神经元的胞体和轴突随处可见,但是这些最有可能构成人口只有一个子集的神经元,即。与足够大的细胞体,神经元和轴突直径,使背景组织明确的区分。同时识别和跟踪的数量更大的神经元是可能的,重建他们的细树枝状分枝或突触字段肯定会需要更高的分辨率(如下演示)。

总的来说,神经元大小是高度可变的脊椎动物和无脊椎动物,但通常是在小动物(47,48)。在昆虫中,神经元细胞体可以达到直径的10年代µm而最小soma大小似乎是有限的~ 2 - 3µm由于限制在细胞核的大小(49,50)。无髓鞘的轴突直径,另一方面,似乎只有受到神经细胞的电特性机械、离子通道。0.1直径<µm, stochastical噪声产生的热激活离子通道成倍增加,阻止有意义的信息传输通过轴突(51,52)。考虑到神经元胞体和轴突的大小,下巴等。24)认为立体像素分辨率0.3µm“…不仅仅是足够的水平但事实上一个优化折中…”图像分辨率和收购速度当设置映射神经元在昆虫大脑结构。然后在相同的研究中,作者使用synchrotron-basedµCT在分辨率和250 Golgi-stained说黑腹果蝇头来创建一个标准的3 d地图苍蝇的整个大脑神经网络“在几天内…”(24)。

这项研究展示了现代µCT技术的潜在昆虫形态学和神经科学领域:无损、快速、高分辨率数据采集水平足以使三维建设,详细的外部和内部解剖模型结合地图的神经结构。因此,µCT可以很容易地应用于研究昆虫解剖和神经感觉系统细节:高分辨率扫描彩色全身准备可以生成和感觉系统问题得以成像,几乎解剖和探索;从外部接收信号结构的感官受体的神经元投射到大脑或其他身体部位。可以说,解决好轴突预测或树突分枝不会高达样品形貌,但都同步,以及现代实验室CT设置可以实现分辨率足够高(~ 0.3µm)这样的快速模型可以提供宝贵的概述并告知和指导后续实验方法使用其他互补的方法来增加我们的感官系统的理解问题。

人工智能、人工神经网络和深入学习

执行高分辨率µCT扫描之后,一个是面对非常大的数据集,通常由许多成百上千的像素分辨率的图像。蟋蟀耳朵µCT数据集,例如,很容易因此包含3 g (GB)生(8位;未压缩的)1µm /立体像素分辨率图像数据(c . gorgonensis~ 1.5 x 1.5 x 1.3毫米³;53)。小得多的果蝇(~ 0.5³毫米³)扫描体素0.3µm——由的决议24——会导致每个飞~ 4.6 GB的数据集。重建生物体的外层和内部解剖图像数据必须标记或注释根据所需的水平的细节,这一过程被称为细分。本质上,在细分每个感兴趣的体素的3 d数据集被分配一个标签标识体素属于一个特定的结构或对象,现在有很多免费,开源(例如,3 d切片机,Drishti, ITK-SNAP,施皮尔)以及商业(阿米拉/ Avizo,蜻蜓,VGStudio)软件包允许进口,操纵和3 d数据集分割(见如7,54,55)。一些细分任务可以执行以半自动方式,尤其是当对比的结构标签和图像信噪比高。昆虫的外表皮或下颌结构,例如,通常可以很容易通过简单的阈值分割方法,因为这些相对困难的身体部位将从柔和的轮廓清晰的材料。在大多数情况下,然而,µCT数据的分割是一个耗时的过程,通常需要几小时或几天的手动标签图片。

虽然手动部分如表皮是可行的和一个或多个的重大内部器官进行ct扫描标本(56,57),的时间成本)很快就会变得高昂当人想调查物种在一个人口水平(24,44,45)或当试图段神经网络(58,59)。在后者的情况下,人工智能技术深度学习使用人工神经网络(ANN)可以提供解决方案,使大规模的分析CT数据集在合理的时间内。

有众多的介绍性教科书(例如,60- - - - - -63年)和优秀的评论深度学习,它的历史(64年概括70年的安开发)和实现在生物和医学背景(例如,65年- - - - - -70年)。这里,我只会给一个简短的概述之前专注于特定的网络架构的例子应用于生物和生物医学成像(大部分),和潜在的应用深度学习特定µCT昆虫科学数据。

简要介绍深入学习

深入学习,人工智能机器学习技术的一个子集,在过去十年里经历了巨大的突破,使其成为一个有价值的工具,几乎任何人想要分析非常大而复杂的数据集(“大数据”);从工程师构建自动驾驶汽车到经济学家预测股市发展语言学家进行自然语言处理和语音识别任务,分子生物学家研究蛋白质折叠结构(71年,72年)。

深度学习在更一般的机器学习方法的优势在于组织特定的人工神经网络用来解决特定的任务。在传统机器学习的算法学习手动执行一个特定任务的基础上,设计了(“手工”)特性,必须从原始数据中提取(67年,68年)。因此,这种方法要求好先天的理解其中的特征表示给定数据集可以用于解决手头的任务。相比之下,网络不依赖于手工定义的功能,但可以学习抽象的层次特性直接从原始数据(65年,69年)。在监督学习中,安pre-labelled训练数据,真实呈现为一个特定的任务。给予足够的训练数据,网络数据然后学会预测正确的标签还没有遇到在训练阶段。在无监督学习,网络使用未标记的数据发现(通常是抽象的)功能或数据固有的模式。这种网络通常使用与监督相结合人工神经网络来提高整体性能(67年,73年,74年)。

人工神经网络是由各层的神经元或节点(松散组织和连通性的启发,大脑中的神经元),把信息从上一层神经元,应用数学函数和相关的重量和偏见,并将其传递给下一层神经元网络。基本安通常由一个输入层、一个(低)的隐藏层神经元数量顺序(通常是完全)连接和一个输出,其中包含的结果(例如,一个决策或分类)。卷积神经网络(CNN)是特别有用的一类安等二维数据的分析图像或序列数据,并广泛用于图像识别等任务,对象检测、运动跟踪或演讲的分析。这里,第一层后的网络输入-卷积层受视觉皮层的神经组织,使神经元不是完全相互连接但与共享重量和偏见(表单接受字段60,73年,75年)。随后,从卷积层中提取的信息发送到汇聚层的数量,简化了信息在发送之前更多的回旋的层或全层最后一个输出(65年,68年)。而cnn的总体架构似乎是更复杂的比标准ann只有几个隐藏层,共享卷积层的重量和偏见以及随后池降低了整体的连接数和参数,使cnn更容易训练(76年)。

而cnn与不同但通常低深处已经使用在2000年代和1990年代(64年,77年),它是开发和实现更快的显卡处理器与CNN的发展架构,导致计算机视觉深度学习的重要突破在2010年代早期。2013年,Krizhevsky等人提出了一个13-layer深CNN (AlexNet;五卷积层点缀着五池和正常化层+ 3完全连接层),分类120万ImageNet的图像数据集到1000个人课近一半的错误率的最先进的模型(70年,76年)。后来研究transfer-learning(网络pre-trained的想法更大、更普遍的数据集可以作为依据调整网络执行不同但相关的任务;78年,79年)和深残余学习网络导致建设很深ResNets(152层),进一步显著降低错误率在图像分类、检测、定位和细分任务(80年)。ResNets现在经常被用作骨干架构发展的其他网络计算机视觉任务(81年)。突出的例子是完全卷积网络U-Net和V-Net,都建立在ResNets增加性能的想法特别是在2 d和3 d生物医学图像分割(67年,82年,83年)。下一节将主要集中在这些最近的深度学习网络和图像分割的上下文中使用。自(生物)医学科学不仅发挥着相当大的作用在CT和µCT技术的发展,但也在一定程度上推动了发展网络能够分析结果数据,给出的示例将包括从生物和医学领域都实现。

AI-supported图像分析

在医学科学,主要是由于成像设备的早期和无处不在的应用MRI和CT诊断工具,人工智能已经使用自1990年代以来规模不断增长(见如77年,84年)。这里,学习算法用于图像分析任务从目标检测和分类(如细胞核、细胞类型、肿瘤)在2 d和3 d自动分割(如脑、肝、前列腺、心脏血管;65年,70年,82年,83年)。人工智能在医学成像的应用程序众多,随着数据源用于训练网络,从而导致大量的安非常专业化的实现(和相关问题的训练数据可用性、标签噪音,非标准的数据采集和不同的形式,有偏见的数据集,等等)。这些实现的一些例子给出了医学CT数据的分析如下:

Hamwood et al。(85年)使用两个修改U-Nets自动段骨的边界地区的人类轨道从MRI或CT扫描结果类似于人类分割专家,虽然在很短的时间(1.5 - 3分钟而不是~ 4 h)。然而,训练和测试数据只包括MRI和CT扫描从11个测试,表明该算法训练后可以表现得更好和更多的数据也强调了数据可用性问题在某些临床上下文(85年)。然而,在其他情况下,数据可用性的问题也就不是问题:谢et al。86年),例如,使用公开可用的,高分辨率(在这种情况下sub-mm)肺部CT扫描从5000例慢性阻塞性肺疾病(COPD)训练关系2段U-Net (RTSU-Net)自动段五肺叶。他们的方法包括一个阶段,从整个3 d扫描提取全局特征和第二个(同时)阶段,捕捉当地,高分辨率的细节。作者应用转移学习方法和再培训的网络与CT扫描370涉嫌COVID-19患者的肺。在这两种情况下(COPD和COVID-19), RTSU-Net显著优于三个标准网络,达到人类分割准确性,甚至为COVID-19数据集规模小得多的训练集和不同的疾病(86年)。

对于不同的细分任务,林格伦Belal et al。(87年)构建和训练一个完全卷积网络自动识别和衡量人类骨骼的卷49骨头(主要是脊椎和肋骨)的基础上,全身CT扫描。CNN训练100手动分割CT扫描,扫描测试的46个不同病人和其性能相比对分割一个训练有素的放射科医生的结果。这个专家手动分割一组患者骨骼两次5每个病人数据从两个不同的CT扫描。骰子系数(测量的准确性考虑真阳性,假阳性和假阴性的标签;满1对应的价值和0没有重叠的自动分割和真实)是在0.85的范围,但有趣的是,个体内的体积差异骨头五test-patient扫描更高的手动观察者(3 - 14%)比CNN(1 - 7%),这表明CNN生产结果与再现性远高于人类专家(87年)。

更多的临床前µCT使用小型哺乳动物,Malimban et al。(88年)应用nnU-Net管道(一个“开箱即用”,hyper-versatile自配置分割方法基于U-Net架构;89年)auto-contouring和分割任务的内部器官的老鼠的基础上在活的有机体内µCT图像。nnU-Net应用于3 d数据并显示执行的更好、更有效地比类似的2 d网络(骰子0.91 - -0.97的系数,根据分段器官)。此外,作者表明,nnU-Net的性能数据来自一个不同的分布比原来的训练数据(对比度增强而不是常规CT扫描)远远优于2 d网络,证明高generalisability训练的网络(88年)。

在生物学中,使用人工智能分析图像数据一直呈上升趋势,尤其是深cnn的出现以及随之而来的框架(例如,Keras TensorFlow),大大降低了错误率网络和增加的设施(即实现特定的模型架构。神经网络的结构)。普遍使用人工智能的自动识别是生物图像分析物种从静态图像(如iNaturalist, Merlin鸟ID或植物隐姓埋名的女人;90年)或markerless姿势估计或运动跟踪的视频表现动物(如DeepLabCut,91年,92年),但几个例子。当然有更多的使用深度学习在生态学、生物声学或行为科学和感兴趣的读者是指如66年,93年- - - - - -97年。

人工神经网络和昆虫神经科学

而深度学习网络在物种识别或运动跟踪执行主要对象识别任务,人工神经网络在现在越来越多用于执行分割的神经元的神经生物学和生物神经网络,通常基于三维显微镜数据。这里,数据来源于使用样品形貌扫描电镜(EM),传输EM或类似的高分辨率成像方法。李,例如,应用复杂,200 +层,ResNet-like CNN自动跟踪神经元从3 d光学显微镜数据单(彩色)神经元的各种脊椎动物和无脊椎动物的物种。作者证明他们神经分割对图像噪声的方法是健壮的,它明显优于之前的跟踪方法(98年)。

在另一个方法中,Januszewski et al。(59)构建一个新型的洪水填充网络(FFN)自动跟踪和重建3 d在串行block-face EM的部分神经元斑胸草雀的大脑(~ 100³µm³的xy-resolution 9 nm和z-resolution 20 nm);包含~ 450 somata)。而网络本身就是一个19-layer CNN AlexNet和ResNet特征基础上,从这些不同,它只有段一个对象在任何给定的时间,它实现了一种新型的反馈途径。这种反馈使网络使用先前标记像素点的信息,通过一个数量级增加其性能相比,两个基线cnn(1.1毫米的意思是没有错误的神经突的长度和只有四个错误合并神经过程追踪97 mm内神经元)。应用于不同的数据集果蝇视叶和鼠标躯体感觉皮层,FFN比之前所有的应用方法,包括U-Net方法(59)。的帮助下这FFN和使用聚焦离子束SEM、雅伯et al。(99年)建立完整的连接体果蝇hemibrain(一个中部地区的一半大脑,包括整个中央复杂;~ 250³µm³体积与分辨率8海里/体素)、识别、追踪和描述~ 25000单个神经元,其探明和突触(2000万年~)。这个连接体代表大约1/4的苍蝇的大脑神经元和大幅增加了信息之前收集到的较小部分果蝇大脑使用类似的方法(例如,连接体~ 1000神经元的蘑菇体α叶;One hundred.)。然而,即使大量使用人工神经网络分析和部分数据,作者估计,一个额外的50 - 100人年校对投资生成最终结果(99年)。

尽管这些进步在使用人工智能和深度学习工具进行自动分析和细分任务,似乎只有两个研究到目前为止,调查从µCT全自动组织分割数据的非医学背景:Toulkeridou et al。(101年)生产完成的76种蚂蚁µCT扫描(iodine-stained;分辨率在0.5和3.5之间µm /体素),随后他们的大脑以半自动方式段(使用seed-based分水岭方法其次是手工后处理;每个大脑~ 5小时的工作)。这为作者提供了一个不错的训练(40%)(60%)和测试数据集76大脑平均1000标签图像三维(截面)。然后他们训练15-layer U-Net 2 d数据(使用数据从所有三个维度)段大脑从其他组织(脂肪、肌肉等)和表皮。整个安段训练大脑在1 - 2分钟,达到骰子系数为0.9(在将数据组合成3 d和后处理)和显示部分的大脑其他昆虫(黄蜂和螳螂)和类似的准确性(101年)。然而,明显改善其性能可能完成如果网络调整和训练在3 d数据,因此在空间和结构信息,如位置和大小考虑(如人工神经网络中59,88年)。

这种影响,在最近的一项研究中无用之人等。102年),3 d U-Net训练的大脑自动段µCT数据蜜蜂和熊蜂(PTA-stained;5.4µm /立体像素分辨率)到六大领域(触角叶,蘑菇体,中央复杂,髓质,lobula和其他神经纤维网的)。在这里,作者利用免费,开源,在线平台Biomedisa (biomedisa.org;103年半自动和深learning-supported图像分割。在它的基本形式,Biomedisa允许用户上传(即稀疏带注释的3 d数据集。,structures of interest are not completely labelled but labels are supplied in intervals of tens of slices) in a variety of common file formats. The pre-segmented images are then used as starting points for adaptive weighted random walks algorithms that perform ‘smart interpolation’ whilst taking into account the underlying 3D data (103年)。使用这种以半自动方式,可以产生3 d的成套细分标签数据集的一小部分时间通常需要和更好的准确性相比其他插值方法。无用之人等。102年26),从而创建一个训练数据集完全贴上蜜蜂大脑骰子平均分数为0.97相比,手动标签和与骰子得分0.93当使用标准的插值方法(见也103年,对于一个表比较各种分割方法)。作者继续使用Biomedisa内置3 d U-Net架构来训练网络,随后进一步分割84蜜蜂和64大黄蜂大脑骰子分数为0.99和0.98,分别。这个方法允许作者进行定量的大脑区域的神经解剖学的比较不是少数,但是大量的动物个体在两种同时减少手动分割和分析工作98% (102年)。

结论

总的来说,研究Toulkeridou et al。(101年和无用之人等。102年),同样,缺乏其他研究这个方向,强调以下几点:在使用深度学习方法自动分割任务昆虫(或无脊椎动物)当然是可能的,其中的一个瓶颈仍然是大套标准化和足够的可用性标记的训练数据。虽然项目Biomedisa和由此产生的(公开可用)数据的方法来克服这个问题(102年,103年)。然而,尽管越来越多的研究人员正在实施µCT在他们的研究中,数据集如所示(24,44,45,101年,102年),其中许多密切相关的物种或一个物种的许多个人成像相同的形态,是少之又少。虽然医学研究人员通常可以从大,访问或多或少标准化图像数据集中的数据库(86年(还)),类似的选项通常不用于生物学家。然而,越来越无处不在的µCT在生物学和社区分享生的努力和注释的开放获取的数据存储库和网站(例如森林女神,Zenodo Biomedisa)和pre-trained网络开发平台上(例如,GitHub)提供了有趣的可能性:研究人员可以利用转移学习方法和使用这些pre-trained网络与自己的训练数据,增强数据集和参数微调获得人工神经网络能够更好的完成所需的任务(78年,79年)。可以想象,一个也可以收集更多不同的数据集和训练深ann与先进的架构(如承诺nnU-Net用于88年或FFNs99年)提取功能,将允许他们执行任务的独立变量,如成像分辨率,染色协议或物种。假设,这种网络可以被训练,例如,自动分割和量化不仅整个昆虫的大脑,而且个人神经纤维网,在类群或在不同的发展阶段。

同时,图像分辨率与EM方法(像那些获得59,99年)远高于那些先进的实验室µCT扫描仪,它们在实践中,太高,甚至允许整个无脊椎动物的大脑成像在一个现实的时间表。例如,雅伯et al。(99年)报告总成像时间(!)果蝇hemibrain“大约四年[…]”。然而,使用同步加速器或实验室CT方法结合适当的组织固定和染色协议创建足够的组织之下,成像完成昆虫大脑的神经组织,甚至全身sub-µm分辨率(0.3µm /体素,作为建议24)已成为一个,如果不是微不足道的,那么至少不是不合理的努力。这样的数据集将无疑是相当大的:一个全身果蝇(大致符合边界框3.5 x 1.5 x 1.5毫米³),扫描分辨率0.5µm /体素,会导致~ 63 GB的未压缩图像数据。然而,雇佣一个安在3 d和分析数据的训练,例如,单独从内部器官和肌肉神经组织,这样的数据集可以自动划分为广泛解剖组件在几分钟内。如果一个人也可以共轭充当纳米抗体专门针对昆虫神经元(例如,anti-horseradish过氧化物酶抗体;104年,105年所示),就像它一直老鼠(18),一个额外的安随后可以识别和跟踪那些有针对性的神经元。虽然可以认为即使是解决0.3µm /体素结合有针对性的对比增强剂仍不足以跟踪最好的树突分枝,因此完整的神经元连接(如中完成99年,One hundred.)这种方法仍将显著促进探索昆虫中枢神经系统的神经回路。

总之,结合最先进的µCT与后续的扫描方法,AI-supported, 3 d数据分析来研究昆虫形态学有可能让研究人员接近某些问题或问题从不同的方法论的角度:µCT可以用来快速,便宜,无创性无损图像整个昆虫或感兴趣的特定区域和相对较高的空间分辨率。生成的数据集可以用来产生非常详细的虚拟三维模型动物的外部和内部几乎可以探索和分析。这些模型已经允许主要解剖结构的定性和定量分析,将技术高度复杂且非常耗时的开展与更传统的方法:一个人可以,例如,容易比较的相对密度几丁质的不同部位的角质层(内部,inter-individually或物种之间),设置3 d形态标志和执行的形态学测量精度高和测量内部器官的体积,气管,肌肉或中枢神经系统的一部分。另外说句题外话,这些模型可以作为详细的几何蓝图建设虚拟感官受体,例如,机械或electroceptive头发(106年,107年),不同的触角的结构与mechanoreceptive约翰斯顿的器官(108年bush-crickets)或鼓膜的听觉受体(109年)。这些3 d几何图形的基础上,先进的有限元模型(另一个快速推进领域的巨大潜力,只能在这里简要提到的)然后可以构造模拟结构力学行为的物理刺激,无论是机械运动、声波或电场;因此也补充我们对昆虫的感官系统的理解。最后,还有实现训练有素的可能性,深层神经网络自动分类数字像素造成的大量高分辨率µCT扫描分类像角质层,肌肉或神经组织,导致自动,快速、准确的分割和跟踪内部昆虫解剖,包括单个神经元水平。虽然仍然存在一些问题——比如标准化训练数据可用性或特异性神经元contrast-enhancers——这些最有可能解决在不久的将来,希望方法论的框架和流线型的管道,将允许研究人员,例如,地图全感官系统,从受体,通过它的神经通路,到大脑。这样的项目就可以完成在几周或几个月,而不是几年,从而帮助扩展我们的知识和理解的神经系统引导昆虫的行为。

作者的贡献

TJ设计和写的手稿。作者证实了这项工作的唯一贡献者和已批准出版。

资金

TJ已经收到了奥地利科学基金资助(FWF): 35792 - b] [P。

确认

TJ谢谢评论者的原稿上非常有用的评论。

的利益冲突

作者说,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

引用

1。雷瑟尔森CE,汤普森数控、埃米尔JS Kuszmaul公元前兰普森BW,桑切斯D, et al。顶部有足够的空间:摩尔定律后如何推动计算机的性能吗?Sci(纽约纽约)(2020)368:1-7。doi: 10.1126 / science.aam9744

CrossRef全文|谷歌学术搜索

2。Petrik V, V Apok,布里顿杰,贝尔英航,帕帕多普洛斯MC。戈弗雷Hounsfield和计算机断层扫描的黎明。神经外科(2006)58:780-7。neu.0000204309.91666.06 doi: 10.1227/01.