深focus-extended暗视野成像原位海洋浮游生物的观察
陈道
建平李
马麒3
建平乔- 1中国科学院深圳先进技术研究院,深圳,中国
- 2中国科学院大学,北京,中国
- 3学院物理与电子、山东师范大学、中国济南
暗视野成像可以实现原位观察海洋浮游生物的独特优势的高分辨率,高对比度和彩色成像对浮游生物物种识别、尺寸测量和丰富的评估。然而,现有的水下暗视野成像系统有很浅的景深效果,导致低效率的海水浮游生物观测取样。我们开发一个数据驱动的方法,可以通过算法重新浮游对象的散焦图像暗视野,同样实现focus-extension收购成像系统。我们设计一组双通道成像装置快速捕捉成对生活在海水中浮游生物有不同的散焦度的图像样本,如模拟设置原位暗视野浮游生物成像。通过一系列的注册和对原始图像预处理操作对数据集组成的55 000双defocused-focused微生物已经由一个精确的散焦图像距离为每个散焦图像标签。我们使用数据集来训练一个端到端的深卷积神经网络IsPlanktonFE命名,并证明其focus-extension性能通过广泛的实验。实验结果表明,IsPlanktonFE延长0.5×暗视野成像系统的景深效果~ 7倍的原始值。此外,模型表现出好的内容和仪器普遍性,和相当的精度改善pre-trained ResNet-18网络对浮游生物散焦图像进行分类。这种focus-extension技术将大大提高抽样吞吐量和对未来的效率原位海洋浮游生物观测系统,促进暗视野浮游生物成像工具的广泛应用在海洋生态研究和水生环境监测计划。
1介绍
海洋浮游生物丰富的水下流浪者广泛分布在世界上的海洋(板条et al ., 2019)。他们主要是浮游植物和浮游动物游泳能力较弱。他们也开胃的食物,海洋中的物质和能量循环,海洋生态系统和食物网的基础(斯坦伯格和兰德里,2017年;伦巴第et al ., 2019;Suthers et al ., 2019)。区域扩散在短时间内可以形成水华,通常伴随着负面身体和毒性的影响,威胁着附近的水产养殖的安全(考恩和Sponaugle, 2009),沿海设施(Zhanhui et al ., 2020),甚至人类健康(Suthers et al ., 2019)。因此,海洋浮游生物的观察是非常重要的,对于理解人类活动和全球变化对海洋生态系统的影响,反之海洋生态系统对全球变化的响应(Alvarez-Fernandez et al ., 2018)。也是不可或缺的手段操作等海洋学应用海洋环境监测、生物多样性调查、渔业资源评估和有害生物突破警告(伦巴第et al ., 2019)。
早在胶片摄影的时代,人们试图利用水下光学成像原位海洋浮游生物的观察(Ortner et al ., 1979)。固态照明的成熟度和数码相机技术自1990年代以来,各种水下浮游生物成像系统开发(Benfield et al . 1996;考恩和Guigand, 2008;舒尔茨et al ., 2009;Picheral et al ., 2010;Bi et al ., 2013;m . Rotermund参孙,2015年;Gallager 2019;奥仁斯坦et al ., 2020;李et al ., 2022),通过数字图像的微生物在自然海域捕获。获得图像的进一步分析使用数字处理和机器学习算法,人们可以实现自动观测的浮游生物分类和各种功能特征(奥仁斯坦et al ., 2022)。与传统方法相比,原位成像有较长的观测时间和连续性的优点,和更高的时空分辨率。非接触式产权也使它更适合观察脆弱凝胶状的生物。这些进步大大扩展了我们的知识在相关海洋科学(Gorsky et al ., 2000;Hirche et al ., 2014;坎贝尔et al ., 2020)。
然而,原位浮游生物成像一直面临着成像质量和采样效率之间的权衡。一方面,海水成分的复杂性(戴维斯和Nepstad, 2017年)和浮游生物属性使成像介质的光学性质和目标变量和异构,这很容易导致成像质量的恶化(伦巴第et al ., 2019;程et al ., 2020)。另一方面,高放大所需足够的分辨率来确定和测量微小的微生物。这导致浅景深效果(自由度)和体积小的海水采样单帧,进而导致低吞吐量和海水采样效率(伦巴第et al ., 2019)。
增加抽样吞吐量,现有成像系统采用了不同的策略和方法。成像流血细胞计数器积极注入海水工具器具显微镜(主要是microphytoplankton)随着海水流过审讯卷提高采样率(Olson和Sosik, 2007年;集选区et al ., 2018)。然而,这不再是一个严格”原位”战略并为抽样mesoplankton越来越稀缺是低效的。许多其他水下成像系统的成像目标使用更直接的策略海水通过透明外壳外端口来实现原位快照成像抽样。例如,轮廓成像系统如ISIIS (考恩和Guigand, 2008)和ZooVIS (Bi et al ., 2013)使用平行光束照明和shadowgraphic成像技术来扩大景深。结合拖部署,他们可以提高抽样吞吐量70 l / s (考恩和Guigand, 2008)。然而,shadowgraphy严重的损害了决议,质地,和获得图像的颜色信息,并很容易失去目标边缘锐度和signal-to-background比(SBR)水下光散射,导致伟大的浮游生物在浑浊的海水检测困难(程et al ., 2020;Panaiotis et al ., 2022)。数字全息术是另一个典型原位方法使用相干照明全息图记录和调整计算实现重点扩展成像。已知的工具包括LISST-HOLO (格雷厄姆和尼姆史密斯,2010),HOLOCAM (Katz和盛,2010年),4深(Rotermund参孙,2015年),等等。然而,这种方法的缺点是计算密集的重建,散斑噪声,以及颜色等的损失。更严重的是,在浑浊的海水环境中,照明光的相干性很容易降低,导致调整和目标检测困难(Nayak et al ., 2021)。
暗视野成像也是一个受欢迎的方法原位浮游生物的观察。其自己的优秀的分辨率和图像丰富的颜色信息更好地表征浮游目标,人类的视觉,更直观。此外,它常常达到良好形象SBR促进目标检测在后续处理。这些特性是有利于浮游生物分类和量化越来越精致,特别是有利于生物多样性研究(伦巴第et al ., 2019)。因此,暗视野成像已经被许多水下浮游生物相机采用(Benfield et al . 1996;Gorsky et al ., 2000;舒尔茨et al ., 2009;Gallager 2019;奥仁斯坦et al ., 2020;李et al ., 2022)。例如,浮游生物成像探针(IPP)由(李et al ., 2022)是一个暗视野支持长期近岸浮游生物成像仪浮标部署。它压缩正交白光照明,以减少杂散光散外成像景深,使高对比度真彩色原位浮游生物和悬浮粒子的成像大小范围宽200μm-40mm和更好的浮游生物识别。
然而,暗视野成像也有很浅景深。例如,0.5×的景深镜头用于IPP只有~ 3毫米,对应的采样体积~ 1.5 mL单帧捕获。尽管低放大率镜片厚景深,使用任何替代高放大透镜成像仪将牺牲分辨率。为了克服这个缺点,(王et al ., 2020)安装不同的放大镜头到一个可旋转的中鼻甲暗视野成像仪成像范围扩张。(梅尔兹et al ., 2021)简单地说一个高和低放大成像光学成一个暗视野成像仪住房同时收购更广泛的尺寸范围。但仪器笨重,昂贵的,不可靠的。探索其他可能的策略由硬件修改,人们很容易想到暗视野成像focus-extension方法利用液体透镜(程et al ., 2021),衍射光学元件(徐et al ., 2019),或光场相机(Martinez-Corral Javidi, 2018)。然而,这些方法本质上是牺牲为代价的时间或空间的自由,并将增加的复杂性和成本仪表,不适合长期在水下恶劣的海洋环境中工作。
它将成为非常有吸引力的如果水下暗视野成像仪的焦点可以有效地扩展没有硬件修改。这引导我们图像恢复算法作为替代这一目标,大致可以分为两类:物理modeling-based方法(Krishnan et al ., 2011;西山et al ., 2011;Karaali荣格,2018)和数据驱动方法(Abuolaim和布朗,2020年;李et al ., 2021;罗et al ., 2021)。在水下成像的情况下,由于海水的极其复杂的性质和目标,不同的仪器和不一致的成像特点,准确的物理建模之前是很难估计或测量。因此,有关工程大多是在实验室里进行(风扇et al ., 2010;Makarkin Bratashov, 2021)。数据驱动方法列车深卷积神经网络通过大规模数据集(款)模型,并且可以实现端到端集中修复与一定程度的散焦图像。然而,大规模高质量的真实世界的数据需要火车这样的深度学习模型是很难获得的。在一些成功的DNN-training报告,(罗et al ., 2021)和(Rai Dastidar Ethirajan, 2020)使用显微图像栈昂贵的精密自动显微镜和收集的数据集(Abuolaim和布朗,2020年)和(李et al ., 2021)依赖于一个特殊的dual-pixel相机芯片收集自然场景图像的数据集和散焦距离信息嵌入。显然,这些数据集建设模式具有较高的时间和金钱成本,很难复制建立生活海洋浮游生物图像数据集。此外,为了训练款推广在实际海洋观测数据集是需要相当大的数量和多样性的例子。这无疑使得水下浮游生物成像上优于算法的建模focus-extension在数据可用性面临巨大的挑战。
为此,我们使用现成的光学组件来定制一组双通道暗视野成像装置,有效地促进我们构造一个数据集组成的55 000双defocused-focused海洋微生物图像。这个数据集的收购模仿设置在真正的海洋原位成像和散焦图像提供了准确的散焦距离标签。使用这个数据集,我们训练一个自导focus-extension名叫IsPlanktonFE款,我们最好的知识,实现端到端散焦恢复真实原位浮游生物第一次暗视野图像。的想法使用IsPlanktonFE暗视野浮游生物成像仪focus-extension所示图1。我们使用一个标准的SiO2珠和真正的浮游生物作为其性能指标测试和校准。结果表明,它可以显著提高浮游生物图像分类的准确性和珠大小的测量。IsPlanktonFE延长了0.5×暗视野成像系统的景深±10毫米范围内,这是~ 7倍的原始值~ 3毫米。它的性能进一步验证了很多原位收集的图片不同的绿皮书实际海网站。结果表明,该网络具有良好的普遍性,并发挥了重要作用,在实践中提高海洋浮游生物观测的效率。
图1深的概念上优于focus-extension原位暗视野成像的海洋浮游生物。
本文的贡献是强调如下。
1。数据驱动的方法,可以实现focus-extension幅图片获得水下暗视野成像系统,提出了可以极大地提高他们的效率原位观察海洋浮游生物和悬浮粒子。
2。设计了一个简单的双通道成像装置和一个完整的协议仪器使用方便高效地建立大规模defocused-focused图像数据集介绍了活的浮游生物。准确的散焦距离标签中包含的数据集可以提供定量参考成像focus-extension模型的训练。
3所示。自导的端到端卷积神经网络能够有效地扩展景深的水下暗视野成像证明仪器设计和内容概括性和训练。
2材料和方法
2.1样品制备
10公升的沿海海水样本含有活的浮游生物收集从大鹏Ao湾(22°34”4 N, 114°31”53 E)、深圳中国的光捕获于12月9日,2021年7月28日,2022年。海水样本保持在环境温度在一桶当他们回到实验室收集后在一个小时的时间。每次我们使用移液管选择的一些活跃的微生物样品和添加到容器中数据集的双通道暗视野成像装置建设。根据浮游生物专家的鉴定记录图像,主要的类群样本节肢动物门和环节动物门。
2.2数据集建设
为了获得defocused-focused形象对浮游生物生活在自然状态下,我们建立了一套双通道暗视野成像装置在实验室模拟真实的原位海洋中成像的设置。它的组成和原理所示图2。当微生物通过照亮空间自由游泳透明容器,它们被白光LED照明器。分散或折射光的浮游生物的一部分,由一个立方体分光板分成两个途径,进入两个成像子系统同时成像。每个子系统由一个远心镜头(0.5×,景深~ 3毫米)和一个CMOS摄像头(4096×3000像素,FLIR bfs -铂族元素- 122 s6c - c)安装在高精度翻译阶段。在图像采集过程中,一个频道的焦平面固定在一定位置后容器的窗口,和其他渠道的焦平面调整到不同的轴向位置和间距Δz相对于前一个焦平面。在每个Δz,两个渠道被触发同步的相机捕捉到配对图像与400年很短的曝光时间μs避免运动模糊,和他们的帧速率都设置为4帧/秒。足够的图片后获得Δz位置,焦平面逐步翻译(1毫米)下轴向位置继续捕捉一套新的图像对。重复这样的过程,并同时在一系列0 mm-10mmΔz不一,我们终于获得了足够的原始暗视野图像离散散焦间距,双活的浮游生物。注意,多个清晰和模糊的浮游目标可能共存的原始图像在这个阶段。
图2双通道的设置暗视野成像器defocused-focused住浮游生物暗视野图像对收购。
接下来,我们应用一组图像注册和处理所有的原始图像预处理操作。图3说明了这一过程的步骤生成多个defocused-focused浮游生物的(ROI)对从一个原始图像我的它们之间与焦间距Δz。包括执行的步骤(1)仿射变换的图像我相对于参考图像我获得一个注册的形象我R(参考补充材料图像配准的细节),(2)注册图像的背景减法和白平衡我R我的(李et al ., 2022),(3)ROI提取的阈值处理图像我P我的P(李et al ., 2022),(4)重点评估的roi提取我P选择所有获得焦点的roi的坐标(杨et al ., 2021),(5)defocused-focused ROI对种植从原始图像对我P我的P(注意所有的剪裁roi我P聚焦的图像评价的算法,及其对应的roi裁剪我P散焦散焦距离Δz),(6)重复步骤(4)和(5)处理roi提取我P在步骤(3)得到defocused-focused ROI对(注意剪裁ROI我P获得焦点,相应的roi裁剪我P散焦散焦距离-Δz)。应用上面的处理,我们获得了defocused-focused ROI的原始数据对不同的散焦距离。
图3流程图生成defocused-focused浮游生物ROI对浮游生物处理生一对双通道图像。红色和绿色代表聚焦和散焦框架浮游生物roi,分别。
最后,原始投资回报率对数据进一步清理通过删除一些不必要的ROI选择基于人类视觉的决心。我们仍然首先选择了roi与视觉模糊,包含多个对象roi, roi散焦和集中部分在一个浮游对象从roi由算法决定的“清楚”。然后我们一起丢弃这些选定的roi与对应的散焦同行。为保持ROI对清洗后,我们表示d标签的散焦距离的散焦的ROI。当一个目标的位置和焦平面之间的镜头,d=Δz;而当目标的立场是在焦平面以外,d= -Δz。因此,建设一个大型defocused-focused海洋浮游生物的ROI图像数据集和散焦距离标签d最终完成。
2.3 IsPlanktonFE建模
2.3.1网络结构
基于ROI defocused-focused浮游生物对数据集的特点,我们设计了一个自动导向的网络实现端到端focus-extension IsPlanktonFE款水下暗视野浮游生物成像系统。作为图4所示,IsPlanktonFE的结构包括一个散焦距离估计子DDE-Net和focus-extension子FE-Net。DDE-Net可以估计一个输入ROI图像的散焦距离的估计值和编码FE-Net focus-extension指导。输入ROI FE-Net提取特征,然后进行编码和解码的参考估计散焦距离。最后,它采样和输出一个重新的形象。
图4深IsPlanktonFE focus-extension网络的结构示意图。
DDE-Net由特征提取器,一个聚合器,一个回归量和一个编码器。ResNet-34网络训练是特征提取器提取的特征输入ROI图像补丁(参考补充材料详情)。然后,平均值和标准偏差,分位数,提取的特征的时刻是聚合为三个向量。接下来,偏最小二乘回归量(PLSR)用于回归三个向量,和的均值回归值作为输入的散焦距离的估计散焦ROI。最后,估计由编码器转换成两个一维向量α和βFE-Net合路器的满足输入要求。编码器由五个卷积与1×1芯层。
FE-Net IsPlanktonFE的支柱,这是由器,组合器和解码器。提取器提取特征映射调频前女友从输入,包括四个e-blocks和包含三个回旋的每一层batch-normalization和ReLU。合路器负责添加α和β调频前女友。它包含两个f区和每个有一个卷积和一个薄膜层(佩雷斯et al ., 2018)。膜层实现功能如下方程表达,调频裁判是一个功能图和参考信息。
译码器是由只有一个回旋的层,它执行维度转换的结合特性图调频裁判获得和合并R, G, B通道值输出最终图像重新。
2.3.2损失
IsPlanktonFE采用加权和上下文的丧失和MSE的损失来指导其训练优化,是制定的方程:
上下文损失(李et al ., 2017)是对图像错位,但它没有考虑充分在全球的分布特性和经常产生马赛克工件在输出图像(Odena et al ., 2016)。相反,MSE损失的全球特性考虑在内,但这是对图像配准误差非常敏感。因此,组合损失预计将补充他们的优点和缺点直接IsPlanktonFE训练对更精确的功能恢复和更好的视觉效果优化其最终focus-extension性能。
2.3.3网络培训
IsPlanktonFE服务器上使用PyTorch实现了6 NVIDIA GeForce RTX3090 gpu。培训分为两个阶段:(1)培训DDE-Net散焦roi和相应的散焦的绝对值距离的数据集(提供更多细节补充材料);(2)培训FE-Net利用DDE-NET和defocused-focused ROI对训练数据集。在这个阶段,模型训练亚当优化器和一个初始学习速率的6 * 10 ^ (3)。最初的重量k1和k2的相关损失和MSE损失经验设置为0.97和0.03。批处理大小设置为48块大小设置为128。提高培训效率,只有一片的前景像素数量超过820(经验值)可以用于培训。后200时代的培训、学习速率降低了其最初的0.316倍,和k1和k2分别变成了0.95和0.05。
3的结果
3.1图像数据集
一个双通道暗视野成像设备(图2)自建捕获原始图像对活的浮游生物在海水中样本与渠道调整焦距不同范围的10毫米1毫米的一个步骤。之后,原始图像对被加工,最终构建一个数据集包含55 000 defocused-focused ROI对海洋浮游生物。我们随机选择2500 ROI对记录在每个散焦距离训练集和保留额外的250个ROI对测试集进行测试和验证IsPlanktonFE和DeblurGAN-v2深网络(Kupyn et al ., 2019)。DeblurGAN-v2是最先进的图像恢复深度学习模型,这是选择focus-extension性能比较与我们提出IsPlanktonFE网络。其建模提供的细节补充材料。
3.2视觉评价
两款focus-extension结果模型所示图5。从上到下,每一列列表输入海洋浮游生物的ROI与不同的散焦距离测试集,输出图像的两款车型,并获得焦点的图像输入目标(地面真理,GT),分别。从视觉感知的比较,我们可以看到,这两个款都恢复了相当大的目标从散焦图像的细节。随着散焦距离的增加,输入图像的散焦模糊增加,恢复细节在两个网络输出减少,和工件开始出现并逐渐严重。但工件IsPlanktonFE输出远远弱于那些从DeblurGAN-v2模型,和恢复效果IsPlanktonFE地面真理在视觉上更接近相应的锋利。
图5focus-extension表演的视觉对比两款代表海洋浮游生物图像。DI, DGAN、铁和GT代表了散焦图像作为网络输入,相应的恢复图像的DeblurGAN-v2和IsPlanktonFE模型,分别和集中地面实况图像。价值高于每一列表明DI的散焦距离标签相对于GT图像。底部的比例尺条的长度是1毫米。DI的缩写,铁、GT和DGAN也适用于其他数据在这工作。
3.3定量评价
款的定量评价,更focus-extension性能,我们使用结构相似度(SSIM),均方根误差(RMSE)和自我界定的焦点评分(杨et al ., 2021),三个指标,计算它们的值在所有输入图像的测试集和其输出两个款模型相对于持有焦点的GT图像。我们比较这些分数的平均值和标准偏差在每个散焦距离显示的结果图6。
图6定量比较的focus-extension表演DeblurGAN-v2和IsPlanktonFE网络恢复海洋浮游生物图像SSIM指标(一),RMSE(B)并专注得分(C)。这里更大的SSIM(∈[0,1]),较小的RMSE,和更高的关注分数显示更清晰的图像聚焦状态,分别。
在所有的指标,IsPlanktonFE网络取得了明显改善相比,其输入和相对稳定的标准差,表示其在focus-extension功效。此外,IsPlanktonFE也取得更高的分数比DeblurGAN-v2 SSIM指标(图6)和RMSE (图6 b)。相比之下,DeblurGAN-v2呈现RMSE改进(图6 b),甚至获得特别糟糕的分数比SSIM输入(图6),虽然略优于IsPlanktonFE专注得分(图6 c)。在目视检查DeblurGAN-v2输出所示图5,我们发现这些图像包含一些高频的工件。
注意在数字6,B的平均SSIM和RMSE值逐渐散焦图像输入减少和散焦距离的增加非常缓慢。不同,所示图6 c,他们关注分数大幅减少与散焦距离的增加,表明关注分数的评价更符合人类的视觉(杨et al ., 2021)。这并不奇怪,因为这个指标是将来自人类的视觉评估设计的。
3.4定量校准
减少方差评价引起的形态不规则浮游生物多样化的实际描述IsPlanktonFE性能时,我们使用一个2毫米SiO2珠作为其可实现的目标,进一步调整景深珠的通过比较图像分析。所示图7,我们使用了双通道成像装置收集一系列聚焦和散焦图像对珠的散焦距离-12 mm-12mm。
图7视觉focus-extension IsPlanktonFE网络的性能的比较暗视野SiO的图像2珠的目标。价值高于每一列表明DI和GT的散焦距离图像。SiO的公称直径2珠是2毫米。
众所周知,散焦轮廓的目标会导致不准确的尺寸测量。因此,我们校准IsPlanktonFE扩展范围的关注基于珠的直径测量精度的暗视野图像。所示的结果图8,直径测量获得焦点的图像的珠子是2.02毫米,这是非常接近其票面价值为2毫米。从散焦图像,测量误差与散焦距离的增加,逐渐增加,达到0.25毫米在±10毫米(> 10%)。相比之下,重点扩大图像的测量误差是几乎可以忽略不计的散焦范围内5 mm-5mm。只有当散焦距离超出这个范围,错误开始逐渐增加。即使在±10毫米的散焦距离,误差只有0.1毫米(~ 5%)。
图8SiO直径比较2珠散焦图像的测量,由IsPlanktonFE focus-extended图像,集中GT图像。
另一方面,浮游目标轮廓内的细节,例如,一些生物结构的高频特性,通常为其识别发挥决定性的作用。显然散焦模糊了真实表示这样的功能,导致严重的后续识别的准确性下降。因此,我们进一步校准IsPlanktonFE focus-extension性能的评估其能力恢复珠子的内部特性的图像。使用RMSE SSIM和专注得分指标,我们量化和比较在不同的散焦的特性和focus-extended珠的图片所示的结果图9。我们发现从focus-extended测量图像散焦图像的明显比-12 mm-12mm的范围。IsPlanktonFE不仅取得了良好的修复效果的训练有素的散焦范围-10 mm-10mm,而且外面有相当多的改进这个范围。
图9定量focus-extension评估使用2毫米SiO IsPlanktonFE网络2珠SSIM指标的(一),RMSE(B)并专注得分(C),分别。面板显示散焦距离的青色区域范围的SiO记录2珠图片用于训练IsPlanktonFE模型。粉红色区域显示记录SiO散焦距离范围2珠图片没有用于训练IsPlanktonFE模型。
进一步证实IsPlanktonFE focus-extended范围,我们设计了另一个实验来比较ResNet-18网络的性能,一直只pre-trained类浮游生物roi, 20日在海洋浮游生物的分类上的散焦和相应focus-extended图像。对于每个类,200 roi子样品数据集构造的这项工作。的结果图10显示的散焦范围内-10 mm-10mm ResNet-18网络分类的准确性的模糊图像显著降低散焦距离的增加,这是符合常识。相比之下,focus-extended图像分类的精度下降慢得多,甚至仍比50%±10毫米的散焦距离。图10 b更多细节的变化ResNet-18对分类的准确性focus-extended图像用不同大小的浮游生物。的图像可以看出,收集的0.5×成像光学、浮游生物分类的精度与体长> 2毫米减少慢慢地散焦距离的增加,达到70%以上的散焦范围内-10 mm-10mm。然而,对于小型浮游生物与体长小于2毫米,精度迅速下降。虽然,这样的精度仍高于散焦图像上实现。这些结果表明,在散焦范围内-10 mm-10mm的focus-extension IsPlanktonFE了有效改进机器识别浮游生物图像的分类器的性能。和更大的目标,更好的性能。
图10性能比较的训练ResNet-18深网络分类散焦浮游生物图像,由IsPlanktonFE focus-extended同行,相应集中GT图像。ResNet-18分类器在训练集中浮游生物图像在这个测试之前。每个点的值是50个随机选择的平均精度测试浮游生物图像。(一)情节ResNet-18模型的分类精度和散焦距离对DI,铁、浮游生物和GT测试图像。(B)进一步的情节FE浮游生物图像的分类精度分为两个不同的尺寸。FE_Small指浮游生物(ROI)的对角线长度< 2毫米。FE_Large指浮游生物长度> 2毫米。
从SiO上面的实验结果2珠大小测量,珠图像功能恢复评估、浮游生物和机器分类器性能评价在实际图像已经证明我们的培训IsPlanktonFE深网络至少延长0.5×3毫米的暗视野成像系统的景深更广泛的-10 mm-10mm,相当于focus-extension ~ 7倍。
3.5模型的普遍性
我们选择一批原位由不同的绿皮书获得roi分开部署沿海站点附近的深圳,平潭,和中国长江和澳大利亚霍巴特,使用指标的评分来评估他们的专注状态处理前后IsPlanktonFE对真实世界的测试数据测试其泛化性能。
图11显示了IsPlanktonFE一些roi的测试结果包含分布(即。浮游生物、浮游生物类已经在训练数据集)桡足动物,多毛纲的和糖虾,这些代表的散焦和重新roi常见微生物及其关注分数进行比较。注意,IPP的原则和双通道成像装置都是暗视野成像,但他们的光学镜头放大,有一定差异像素大小和照明。这些使选定的测试图像特性变化与训练集,虽然他们属于同一类群生物。从合成视觉评价和定量关注分数输入和输出图像的比较,我们看到IsPlanktonFE显然重新模糊图像。
图11Focus-extension IsPlanktonFE比较具有代表性原位海洋浮游生物roi被IPP收购。每个ROI价值的右上角表示专注得分。
然后我们选择另一个的子集out-of-distribution roi(生物类和/或散焦状态不包括在训练集)来进一步验证IsPlanktonFE在不同的图像内容的概括性。测试结果所示图12,路西法sp。图12)和多毛纲的sp.和桡足动物(图12 b)展品更复杂的散焦状态虽然他们类群已经包含在训练集。具体来说,不同的部分路西法sp.散焦现象不同,Polychatesp.和桡足动物有不同的散焦程度。而在数字12 c, D,的散焦状态Monstroid用鸡蛋和Cresis针也非常复杂,他们的分类单元不包含在训练集。观察重新roi和他们的目标分数,我们可以看到IsPlanktonFE取得优秀的调整影响never-trained内容。值得注意的是,所示数字12 e, F和更多的图S3在补充材料,IsPlanktonFE也被证明是非常有效的在调整悬浮粒子图像,这是从来没有训练和已知非常异构形态。
图12Focus-extension IsPlanktonFE一些比较特别的原位暗视野roi被IPP收购。(一)一个ROI包含一个分布微生物在不同的身体部位和不同程度的散焦。(B)ROI包含两种不同的分布微生物具有不同程度的散焦。(C)和(D)分别包含一个out-of-distribution (OOD)微生物。(E)和(F)分别包含一个OOD悬浮颗粒。每个ROI价值的右上角表示专注得分。
3.6观察效率改善
我们使用从试验获得的原始roi IPP部署的码头水下CSRIO澳大利亚海洋和大气在12月25 - 29,2019年作为测试数据来验证IsPlanktonFE申请的效率改进原位海洋浮游生物的观察。在这个数据,平均每天26414 roi拍摄。因为重点评价过滤算法(杨et al ., 2021)并不是部署在集合的时候,数据包含许多散焦roi。
我们第一次筛选所有原来的roi的关注分数,发现平均每日的清晰图像比例(专注得分> 4.0)在原始roi只有2.15%。在应用focus-extension IsPlanktonFE所有原始的roi,这样的比例上升到12.75%。比例变化清晰的roi IsPlanktonFE前后处理和绝对数量的原始roi收集日常所示图13。集中roi的比例波动主要是由于浮游生物的自然变化和悬浮粒子数量随时间和空间分布。这一结果进一步证实了IsPlanktonFE的应用可以大大增加获得焦点的一部分图像获得的原始数据。IPP的观测效率进一步提高平均~ 6倍。
图13比例的变化清晰的ROI图像在为期4天的原位图像数据获得的IPP水下摄像机部署之前和之后的所有原始roi IsPlanktonFE处理。
4讨论
4.1模型的性能
单一图像调整是一个不适定问题。有许多可能的解决方案之间的映射散焦图像及其集中GT。DDE-Net本质上提供了一个独特的描述符的散焦程度输入,而助攻IsPlanktonFE了解更多绝对最优模糊和清晰的图像之间的映射。这个模块的实用性明显受益于我们的双通道成像装置,提供准确的散焦距离标签的训练图像对。相比之下,DeblurGan-v2不能利用散焦距离之前,只有依靠图像数据来学习这样的复杂映射。受限于网络层深度和参数,DeblurGan-v2很难处理挥发性散焦情况在输入图像,为许多图像和产生严重的构件。这就是为什么的输出DeblurGAN-v2甚至出现SSIM和RMSE分数低于其输入。款用于关注分数评估(杨et al ., 2021)只是敏感内容而不是高频的分布特性,因此DeblurGAN-v2取得更高的分数在这个指标是容易产生错误的分布在输出图像中高频工件。
与散焦距离的增加,散焦图像中的每个像素接收来自多个相邻对象的特性,使它更具挑战性的正确重新映射到原来的像素位置。在这个极限,它逐渐成为IsPlanktonFE很难获得一个最优解映射甚至提供散焦距离信息。
图14显示了focus-extension IsPlanktonFE对浮游生物的影响与不同大小不同的散焦距离。之间的比较图14 a, B显示在同一散焦距离,更大的微生物在散焦图像包含更多的功能实现更高的SSIM恢复后得分和更好的图像质量。之间的比较图14 a, C反映了在一个更大的散焦距离,模型也更有可能表现得更好更大的浮游生物。这些结果表明,IsPlanktonFE focus-extension性能将下降与浮游的减少对象的大小。光学系统的分辨率与固定放大成像时将成为不足更小的目标。在这种情况下,散焦模糊将导致进一步的损失低分辨率图像的高频特性的微小物体,因此不利于恢复任何IsPlanktonFE focus-extension模型没有例外。当获得图像的分辨率是不够娱乐IsPlanktonFE的计算需求,更高的放大成像的仪器应考虑。
图14浮游生物的影响大小在focus-extension IsPlanktonFE的性能。(一)一个大眼幼体幼虫在d= 6毫米,(B)一个Polychate与鸡蛋d= 6毫米,(C)一个不同的Polychate在d = 9毫米。
值得讨论的是暗视野roi提供IsPlanktonFE相对简化的前景和背景内容相比更复杂自然场景图像。一方面,很少的roi多个前景目标重叠或一个目标不一致的散焦的情况在不同的焦点位置。这意味着标签d可以描述的散焦距离准确、独特的前景目标。另一方面,暗视野roi几乎零背景与前景小干扰。这些数据特征都是有利于训练IsPlanktonFE性能。此外,互惠的双通道成像装置有一个天生的优势获得的图像对,这意味着在一个通道图像散焦和重点目标是同行的其他频道形象,所以它可以获得2 n步进一个焦平面图像对的两个渠道仅为n的位置。注意,这是非常有用的加速数据采集保持脆弱的浮游生物的生物活性在被捕后从海洋环境。当然也节省时间高档生活浮游生物IsPlanktonFE训练图像数据集。
4.2模型的普遍性
目前,IsPlanktonFE数据集规模已经达到了55 000对ROI,包含至少20类浮游生物类群的节肢动物门和环节动物门。诚然,相比之下,海洋中浮游生物的实际数量和高水下环境的复杂性,这个数据集的规模和多样性,是远远不够的。幸运的是,IsPlanktonFE获悉低级逐像素特征defocused-focused图像对之间的映射,这本质上是不同于一个图像分类器学习之间的映射图像及其分类标签,所以这是不敏感等高层次的图像语义类,形态,等。当ROI对IsPlanktonFE数据集收购,浮游生物还活着所以他们不停地游泳。与有限的视场和景深的成像设备和容器的密闭空间,他们的运动不是有限的。此外,我们只使用一个缓慢的帧速率在原始图像采集,所以即使对于相同的浮游生物的目标,其散焦位置、方向和形态变化很大在暂时关闭帧和空间上接近的位置。这使得我们的数据集有一个非常丰富的“散焦image-focused形象”映射不同,即。、散焦多样性,即使它的建设是基于有限数量的分类群。结果,即使是由一个简单的训练和测试数据集的随机10:1分裂,获得IsPlanktonFE模型取得了良好的普遍性在未经训练的生物类的图片,图片收集到不同的乐器,甚至悬浮粒子,在结果和证明图S3在补充材料。原则上,我们可以合理地推断这普遍性更有潜力。
首先,IsPlanktonFE的良好的性能原位图像通过各种不同的绿皮书提出其应用潜力原位暗视野浮游生物成像系统。尽管双通道的光学成像装置各种差异的其他水下暗视野成像系统除了IPP,他们的原则是所有快照暗视野放大照相或显微镜(Benfield et al . 1996;舒尔茨et al ., 2009;Picheral et al ., 2010;Gallager 2019;奥仁斯坦et al ., 2020;李et al ., 2022)。浮游生物和粒子的表征图像展品非常相似的形态学特征。因此,IsPlanktonFE的建模过程可以重复优化不同hyperparameters这些乐器。事实上,几套hyperparameters在不同的放大也可以多路复用,以进一步提高模型的普遍性。IsPlanktonFE的这也许是最具吸引力的方面,因为它不需要硬件更改现有的影像,但可以计算扩展他们的自由度,使观测效率改进。
其次,尽管海洋浮游生物物种是多样的,高级分类群的数量变得更小。众所周知,生物属于同一语系不同类群之间有许多相似的形态学特征,但不同(板条et al ., 2019),例如,桡足类和真软甲类分享相当一些相似的外骨骼的特性,因为他们都属于节肢动物门。由于这个生物属性,培训规模IsPlanktonFE可能不一定需要覆盖所有浮游生物物种,但是只需要覆盖足够的高阶门,然后可以推广的图片未经训练的物种在同样的门。的例子Monstrilloid和Creseis针在数字12 c, D完全证明这一假设。众所周知,桡足类仅占所有海洋浮游动物数量的90% (Suthers et al ., 2019),所以预计IsPlanktonFE有可能推广到相当数量的浮游生物类。然而,数据仍然缺乏的例子脊索动物,刺胞动物等。IsPlanktonFE可能的性能下降如果直接应用原位浮游生物的图片,这些物种。但是用户可以应用本文中描述的装置和方法,结合现场取样这些浮游生物,他们的图像可以方便地补充到训练集。该模型可以接受再培训,快速恢复focus-extension能力在这些图像。
令人惊讶的是,IsPlanktonFE也达到优良的性能在不同的悬浮粒子图像,虽然他们都没有使用的培训。这可能是因为暗视野的千变万化的粒子图像也包含许多功能类似于浮游生物形态学习的模型。这种猜测并不缺乏科学推理尽可能多的微粒是浮游生物的残骸或粪球(小型浮游碎片)。另一方面,海洋浮游生物可能演变形态类似于在海水中悬浮粒子,因为这是最好的隐藏和生存。众所周知,海洋中悬浮粒子的数量非常大(> 80%原位图像粒子(Panaiotis et al ., 2022),它们的大小和体积是最担心被测变量的研究海洋碳循环(伦巴第et al ., 2019;层面et al ., 2020)。IsPlanktonFE上取得了显著的性能调整的轮廓散焦悬浮粒子,这显然有利于他们更准确的测量。
4.3对海洋浮游生物的影响观察
一般来说,在海洋浮游生物的密度很低,和更大的生物丰度较低。更有效地观察,海水采样单位时间内的浮游生物成像方法总是喜欢尽可能多的获取具有统计代表性的浮游生物信息和更多的海底空间覆盖。扩展的焦点与固定放大(即一个成像仪器。,fixed field of view) is obviously a straightforward way for this purpose. Taking the results of this study as an example, IsPlanktonFE can extends the DOF of a 0.5× darkfield imaging system from ~3mm to ~20mm, equivalent to a seawater sampling volume improvement of ~7 times. Based on our experience in IPP nearshore deployment, this will result in a total water volume enlargement from 388.8L to 2592L per day at an imaging frame rate of 3FPS. This is expected to further fill the gap in seawater sampling throughput and plankton quantification between the traditional methods and the原位成像系统(2022年巴斯和石头;Le et al ., 2022)。
浮游生物观测IsPlanktonFE的价值也体现在其泛化为未来暗视野成像仪器。成像仪在水下工作时,空间以外的景深将不可避免地被照亮,这些空间的杂散光可以进入相机和成像芯片。这是在暗视野成像散焦模糊的根本原因。现有的暗视野成像系统一般评估的重点目标ROI的简单的边缘梯度的计算程序,并直接丢弃的散焦ROI只保留“清晰”的(Gallager 2019;奥仁斯坦et al ., 2020;李et al ., 2022)。这使得高质量形象产量和光能利用率很低。IPP改善这样的收益率照明身体压缩到一层~ 6.89毫米厚度减少照明外的景深。然而,它不是微不足道的进一步压缩非相干光束比这样的薄厚度。这不仅会增加照明的光机位结构的复杂性和失去仪器的灵活性,但也大大照明能源浪费。如果景深扩展IsPlanktonFE ~ 20毫米,匹配的困难的照明层成像景深可以大大减轻,有利于简化仪器,也可以改善暗视野成像的高质量图像产生限制。此外,IsPlanktonFE建立的过程中提供了用户引用来解决各自感兴趣的研究问题,即用户可能需要应对不同的挑战从复杂的观察对象和应用程序环境。所有这些肯定会有助于海洋科学家去探索更多未知的海洋在更好的成本。
IsPlanktonFE缺点之一在于其深层网络结构,导致高计算成本和长时间的培训。花了120小时和六个RTX3090 GPU卡在训练模型达到收敛。幸运的是,计算大大减少在生产阶段,在此期间IsPlanktonFE验证了实现平均1 - 2 ROI / s的速度使用单一RTX3090 GPU。这是比ROI的平均速度快得多代的IPP部署近岸根据我们的经验(李et al ., 2022)。在未来,这个模型可以通过网络修剪(轻量级Molchanov et al ., 2019),量化(王et al ., 2022蒸馏),知识(Yim et al ., 2017)技术,以进一步降低其培训需求计算和推理。这些将使云计算平台上部署IsPlanktonFE促进下一代原位实时海洋浮游生物的观察。
数据可用性声明
原始数据支持了本文的结论将由作者提供,没有过度的预订。
作者的贡献
TC和JL构思的想法,设计了双通道暗视野成像装置和JL监督这个项目。TC收集了原位海洋浮游生物图像原始数据。TC、WM GG、ZY和ZL IsPlanktonFE数据集。TC, GG和ZY IsPlanktonFE模型开发了计算机编程。WM发达DeBlurGan-v2模型的计算机编程和金桥监督这项工作。TC和JL设计实验,分析研究,起草了手稿。所有作者的文章和批准提交的版本。
资金
这项工作是支持的国际合作项目172644号中国科学院kysb20210022,深圳科技创新项目。广东JCYJ20200109105823170和关键项目的基础研究和应用基础研究基金会2022号b1515120030。
确认
作者感谢马克陆先生和汤姆先生徐从深圳Xcube技术有限公司的技术支持在霍巴特IPP部署期间,澳大利亚,和平潭,中国,和海峰谷博士第三海洋研究所的自然资源,中国在平潭IPP部署期间的后勤支持。教学楼。蒂姆岳博士承认他从深圳大学黄鼓舞人心的讨论和语言的建议。
的利益冲突
TC和JL三等待中国发明专利申请提出了双通道暗视野成像装置和IsPlanktonFE算法。
其余作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。
出版商的注意
本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。
补充材料
本文的补充材料在网上可以找到:https://www.雷竞技rebatfrontiersin.org/articles/10.3389/fmars.2023.1074428/full补充材料
引用
Abuolaim。,Brown M. S. (2020). “Defocus deblurring using dual-pixel data,” in欧洲计算机视觉。(Springer,可汗),111 - 126。doi: 10.1007 / 978 - 3 - 030 - 58607 - 2 - _7
Alvarez-Fernandez年代。,巴赫l . T。,Taucher J。,Riebesell U., Sommer U., Aberle N., et al. (2018). Plankton responses to ocean acidification: The role of nutrient limitation.掠夺。Oceanogr。165年,11到18门。doi: 10.1016 / j.pocean.2018.04.006
巴斯。,Stone J. (2022). Comparison of an原位成像设备和网络方法研究mesozooplankton社区在一个贫瘠的系统。前面。3月科学。9。doi: 10.3389 / fmars.2022.898057
板条s D。,Abu-Alhaija R., Chiba S., Edwards M., Graham G., Jyothibabu R., et al. (2019). A global plankton diversity monitoring program.前面。3月科学。6。doi: 10.3389 / fmars.2019.00321
苯菲尔m . C。戴维斯分校c . S。Wiebe p H。,Gallager S. M., Lough R. G., Copley N. J. (1996). Video plankton recorder estimates of copepod, pteropod and larvacean distributions from a stratified region of georges bank with comparative measurements from a MOCNESS sampler.深海研究》第2部分。局部螺栓。海洋学。43 (43),1925 - 1945。doi: 10.1016 / s0967 - 0645 (96) 00044 - 6
Bi H。,Cook S., Yu H., Benfield M. C., Houde E. D. (2013). Deployment of an imaging system to investigate fine-scale spatial distribution of early life stages of the ctenophoreMnemiopsis leidyi在切萨皮克湾。j .浮游生物Res。35 (2),270 - 280。doi: 10.1093 / plankt / fbs094
坎贝尔·r·W。,Roberts P. L., Jaffe J. (2020). The prince William sound plankton camera: a profiling原位天文台的浮游生物和微粒。冰j . 3月科学。77 (4),1440 - 1455。doi: 10.1093 / icesjms / fsaa029
程Y。曹,J。,Tang X., Hao Q. (2021). Optical zoom imaging systems using adaptive liquid lenses.Bioinspir。Biomim。16(4),041002年。1748 - 3190 . doi: 10.1088 / / abfc2b
程X。,Cheng K., Bi H. (2020). Dynamic downscaling segmentation for noisy, low-contrast in situ underwater plankton images.IEEE访问。8,111012 - 111026。doi: 10.1109 / access.2020.3001613
考恩·r·K。,Guigand C. M. (2008).原位ichthyoplankton成像系统(ISIIS):系统设计和初步结果。Limnol。Oceanogr。:方法。6 (2),126 - 132。doi: 10.4319 / lom.2008.6.126
考恩·r·K。,Sponaugle S. (2009). Larval dispersal and marine population connectivity.为基础。启3月科学。1 (1),443 - 466。doi: 10.1146 / annurev.marine.010908.163757
戴维斯·e·J。,Nepstad R. (2017).原位描述复杂的悬浮颗粒周围的一个活跃的潜艇尾矿放置站点在挪威峡湾。区域螺栓。3月科学。16,198 - 207。doi: 10.1016 / j.rsma.2017.09.008
风扇F。,Yang K., Fu B., Xia M., Zhang W. (2010). “Application of blind deconvolution approach with image quality metric in underwater image restoration,” in国际会议的程序对图像分析和信号处理。(中国浙江:IEEE), 236 - 239。doi: 10.1109 / IASP.2010.5476122
层面s . l . C。,卡文·e·L。,B一个年代edow S. L., Briggs N., Burd A. B., Darroch L. J., et al. (2020). Sinking organic particles in the ocean–flux estimates from原位光学设备。前面。3月科学。6 (834)。doi: 10.3389 / fmars.2019.00834
Gorsky G。,Picheral M。,Stemmann L. (2000). Use of the underwater video profiler for the study of aggregate dynamics in the north Mediterranean.河口海岸。架子上的科学。50 (1),121 - 128。doi: 10.1006 / ecss.1999.0539
格雷厄姆·g·W。,Nimmo Smith W. A. M. (2010). The application of holography to the analysis of size and settling velocity of suspended cohesive sediments.Limnol。Oceanogr。:方法。8 (1),1 - 15。doi: 10.4319 / lom.2010.8.1
集选区Z。,Tamamitsu M., Bianco V., Wolf P., Roy S., Shindo K., et al. (2018). A deep learning-enabled portable imaging flow cytometer for cost-effective, high-throughput, and label-free analysis of natural water samples.光科学。达成。7日,66年。doi: 10.1038 / s41377 - 018 - 0067 - 0
Hirche h·J。Barz K。,Ayon P。,舒尔茨J。(2014). High resolution vertical distribution of the copepodCalanus chilensis与浅氧最小区域使用洛基秘鲁北部,一个新的浮游生物成像系统。深海研究》第一部分:海洋研究》论文。88年,63 - 73。doi: 10.1016 / j.dsr.2014.03.001
Karaali。,Jung C. R. (2018). Edge-based defocus blur estimation with adaptive scale selection.IEEE反式。图像的过程。27 (3),1126 - 1137。doi: 10.1109 / TIP.2017.2771563
Katz J。,Sheng J. (2010). Applications of holography in fluid mechanics and particle dynamics.为基础。启流体力学。42 (1),531 - 555。doi: 10.1146 / annurev -流体- 121108 - 145508
Krishnan D。,泰T。,Fergus R. (2011). “Blind deconvolution using a normalized sparsity measure,” in《IEEE / CVF计算机视觉与模式识别会议(CVPR)。(美国科罗拉多斯普林斯,CO: IEEE), 233 - 240。doi: 10.1109 / CVPR.2011.5995521
Kupyn O。,Martyniuk T., Wu J., Wang Z. (2019). “Deblurgan-v2: Deblurring (orders-of-magnitude) faster and better,” in Proceedings of the IEEE/CVF International Conference on Computer Vision. (Seoul, South Korea: IEEE), 8878–8887. doi: 10.1109/ICCV.2019.00897
李J。,Son H., Rim J., Cho S., Lee S. (2021). “Iterative filter adaptive network for single image defocus deblurring,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. (Nashville, TN, USA: IEEE), 2034–2042. doi: 10.1109/CVPR46437.2021.00207
Le k T。,Yuan Z., Syed A., Ratelle D., Orenstein E. C., Carter M. L., et al. (2022). Benchmarking and automating the image recognition capability of an原位浮游生物成像系统。前面。3月科学。9。doi: 10.3389 / fmars.2022.869088
李J。,Chen T., Yang Z., Chen L., Liu P., Zhang Y., et al. (2022). Development of a buoy-borne underwater imaging system for原位mesoplankton沿海水域的监测。IEEE j .海洋中。47 (1),88 - 110。doi: 10.1109 / JOE.2021.3106122
李D。,Jiang T., Jiang M. (2017). “Exploiting high-level semantics for no-reference image quality assessment of realistic blur images,” in Proceedings of the 25th ACM international conference on Multimedia. (Mountain View, California USA: ACM), 378–386. doi: 10.1145/3123266.3123322
伦巴第F。,老板E。,Waite A. M., Vogt M., Uitz J., Stemmann L., et al. (2019). Globally consistent quantitative observations of planktonic ecosystems.前面。3月科学。6。doi: 10.3389 / fmars.2019.00196
罗Y。,Huang L., Rivenson Y., Ozcan A. (2021). Single-shot autofocusing of microscopy images using deep learning.ACS光子学。8 (2),625 - 638。doi: 10.1021 / acsphotonics.0c01774
Makarkin M。,Br在一个年代hov D. (2021). State-of-the-Art approaches for image deconvolution problems, including modern deep learning architectures.大。12 (12),1558。doi: 10.3390 / mi12121558
Martinez-Corral M。,Javidi B. (2018). Fundamentals of 3D imaging and displays: a tutorial on integral imaging, light-field, and plenoptic systems.放置光学光子。10 (3),512 - 566。doi: 10.1364 / aop.10.000512
梅尔兹E。,Kozakiewicz T., Reyes M., Ebi C., Isles P., Baity-Jesi M., et al. (2021). Underwater dual-magnification imaging for automated lake plankton monitoring.水Res。203年,117524年。doi: 10.1016 / j.watres.2021.117524
Molchanov P。,马尔雅。,批年代。,Frosio I., Kautz J. (2019). “Importance estimation for neural network pruning,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. (Beach, CA, USA: IEEE), 11264–11272. doi: 10.1109/CVPR.2019.01152
Nayak a。R。,Malkiel E., McFarland M. N., Twardowski M. S., Sullivan J. M. (2021). A review of holography in the aquatic sciences:原位表征粒子、浮游生物和小规模的生物物理交互。前面。3月科学。7所示。doi: 10.3389 / fmars.2020.572147
他米。,哈迪德A。,Takeshima H., Shotton J., Kozakaya T., Yamaguchi O. (2011). Facial deblur inference using subspace analysis for recognition of blurred faces.IEEE反式。模式肛门。马赫。智能。33 (4),838 - 845。doi: 10.1109 / TPAMI.2010.203
Odena。,Dumoulin V., Olah C. (2016). Deconvolution and checkerboard artifacts.蒸馏。1 (10),e3。doi: 10.23915 / distill.00003
奥尔森r . J。,Sosik H. M. (2007). A submersible imaging-in-flow instrument to analyze nano-and microplankton: Imaging FlowCytobot.Limnol。Oceanogr。方法。5,195 - 203。doi: 10.4319 / lom.2007.5.195
奥仁斯坦·e·C。,Ayata告诫。、地图F。,BeckerÉ.C., Benedetti F., Biard T., et al. (2022). Machine learning techniques to characterize functional traits of plankton from image data.Limnol。Oceanogr。67 (8),1647 - 1669。doi: 10.1002 / lno.12101
奥仁斯坦·e·C。Ratelle D。,Briseño-Avena C., Carter M. L., Franks P. J. S., Jaffe J. S., et al. (2020). The Scripps plankton camera system: A framework and platform for原位显微镜。Limnol。Oceanogr。方法18 (11),681 - 695。doi: 10.1002 / lom3.10394
Ortner p B。,Cummings S. R., Aftring R. P., Edgerton H. E. (1979). Silhouette photography of oceanic zooplankton.大自然。277 (5691),50-51。doi: 10.1038 / 277050 a0
Panaiotis T。,Caray–Counil L., Woodward B., Schmid M. S., Daprano D., Tsai S. T., et al. (2022). Content-aware segmentation of objects spanning a Large size range: Application to plankton images.前面。3月科学。9。doi: 10.3389 / fmars.2022.870005
佩雷斯E。,Strub F., De Vries H., Dumoulin V., Courville A. (2018). “Film: Visual reasoning with a general conditioning layer,” in Proceedings of the AAAI Conference on Artificial Intelligence. (Hilton New Orleans Riverside, New Orleans, Louisiana, USA: ACM), 3942–3951. doi: 10.1609/aaai.v32i1.11671
Picheral M。,Guidi L。,Stemmann L., Karl D. M., Iddaoud G., Gorsky G. (2010). The underwater vision profiler 5: An advanced instrument for high spatial resolution studies of particle size spectra and zooplankton.Limnol。Oceanogr。方法8 (9),462 - 473。doi: 10.4319 / lom.2010.8.462
Rai Dastidar T。,Ethirajan R. (2020). Whole slide imaging system using deep learning-based automated focusing.生物医学。选择快递。11 (1),480 - 491。doi: 10.1364 / BOE.379780
Rotermund l . M。,Samson J. (2015). A submersible holographic microscope for 4-d in-situ studies of micro-organisms in the ocean with intensity and quantitative phase imaging.j . 3月科学:研究开发。06 (01)。doi: 10.4172 / 2155 - 9910.1000181
舒尔茨J。Barz K。,Mengedoht D., Hanken T., Lilienthal H., Rieper N., et al. (2009). Lightframe on-sight key species investigation (LOKI). (Bremen, Germany: OCEANS 2009-EUROPE, IEEE), 1–5. doi: 10.1109/OCEANSE.2009.5278252
斯坦伯格d K。,l一个ndry M. R. (2017). Zooplankton and the ocean carbon cycle.为基础。启3月科学。9 (1),413 - 444。doi: 10.1146 / annurev -海洋- 010814 - 015924
Suthers我。,Rissik D., Richardson A. (2019). “Plankton: A guide to their ecology and monitoring for water quality,” in浮游生物:引导生态与水质的监测。(波卡拉顿,FL: CRC出版社,CSIRO出版)。doi: 10.1093 / plankt / fbp102
王Z。,liu X., Huang L., Chen Y., Zhang Y., Lin Z., et al. (2022). QSFM: Model pruning based on quantified similarity between feature maps for AI on edge.IEEE互联网J。9 (23)。doi: 10.1109 / jiot.2022.3190873
王N。,于J。,Yang B., Zheng H., Zheng B. (2020). Vision-based原位光谱监测浮游生物的大小通过一个卷积神经网络。IEEE j .海洋中。45 (2),511 - 520。doi: 10.1109 / joe.2018.2881387
徐J。,Kong Y., Jiang Z., Gao S., Xue L., Liu F., et al. (2019). Accelerating wavefront-sensing-based autofocusing using pixel reduction in spatial and frequency domains.达成。选择。58 (11),3003 - 3012。doi: 10.1364 / AO.58.003003
杨Z。,Chen T., Li J., Sun J. (2021). “Focusing evaluation for in situ darkfield imaging of marine plankton,” in海洋2021:圣地亚哥-波尔图。(美国CA迭戈:IEEE), 1 - 8。doi: 10.23919 / OCEANS44145.2021.9706029
Yim J。,Joo D., Bae J., Kim J. (2017). “A gift from knowledge distillation: Fast optimization, network minimization and transfer learning,” in Proceedings of the IEEE conference on computer vision and pattern recognition. (Honolulu, HI, USA: IEEE), 4133–4141. doi: 10.1109/CVPR.2017.754
关键词:水下成像深度学习,专注扩展,海洋观测、海洋浮游生物
引用:陈,李J,马W,李郭G,杨Z Z和乔J(2023)深focus-extended暗视野成像原位海洋浮游生物的观察。前面。3月科学。10:1074428。doi: 10.3389 / fmars.2023.1074428
收到:2022年10月19日;接受:2023年1月06;
发表:2023年1月30日。
编辑:
Rizwan阿里纳韩国世宗大学版权©2023年陈,李,妈,郭、杨,李和乔。这是一个开放分布式根据文章知识共享归属许可(CC)。使用、分发或复制在其他论坛是允许的,提供了原始作者(年代)和著作权人(s)认为,最初发表在这个期刊引用,按照公认的学术实践。没有使用、分发或复制是不符合这些条件的允许。
*通信:建平,jp.li@siat.ac.cn