使用深度学习评估时间的变化在深海悬浮粒子gydF4y2Ba
Naoki斋藤gydF4y2Ba
1、2 *gydF4y2Ba,gydF4y2Ba
特拉维斯·w·沃什伯恩gydF4y2Ba
1gydF4y2Ba,gydF4y2Ba
Shinichiro矢野gydF4y2Ba
3gydF4y2Ba和gydF4y2Ba
Atsushi铃木gydF4y2Ba
1、4gydF4y2Ba
- 1gydF4y2Ba日本地质调查局国家先进工业科学技术(巨大),日本筑波gydF4y2Ba
- 2gydF4y2Ba九州大学土木工程学系,日本福冈gydF4y2Ba
- 3gydF4y2Ba城市与环境工程系,九州大学,日本福冈gydF4y2Ba
- 4gydF4y2Ba研究实验室要发展和技术(E-code),国家先进工业科学技术(巨大),日本筑波gydF4y2Ba
而悬浮粒子扮演着许多重要的角色在海洋环境中,它们的浓度很小的深海中,观察困难与现有方法:水取样,光学传感器和特殊的成像系统。方法是需要填补的缺乏在深海环境基线数据,那些便宜,快速,直观。在这项研究中,我们应用对象检测使用深度学习评估悬浮粒子数量的变化由常见的固定摄像机拍摄的图像,”马克Edokko 1”。照片拍摄在西北太平洋的深海海底山大约一个月。使用粒子图像作为训练数据,对象检测算法YOLOv5被用来构造一个悬浮粒子检测模型。由此产生的模型成功地检测到图像中粒子与高精度(AP50 > 85%, F1分数> 82%)。同样高精度网站不用于模型训练表明,模型检测精度并不是依赖于一个特定的拍摄条件。在观察期间,世界上第一个cobalt-rich锰铁外壳开挖进行了测试,测试这个模型提供一个理想的情况的能力来衡量深海悬浮粒子浓度的变化。时间序列显示,粒子数量相对较少的可变性在自然条件下,但有两个浊度事件期间/开挖后,有一个显著差异在开挖之前和之后的悬浮粒子数量。这些结果表明,该方法可用于检查时间变化在少量的天然悬浮粒子和矿业等大型突然变化的影响。 A notable advantage of this method is that it allows for the possible use of existing imaging data and may be a new option for understanding temporal changes of the deep-sea environment without requiring the time and expense of acquiring new data from the deep sea.
介绍gydF4y2Ba
深海环境功能受到悬浮粒子浓度的影响而动物生存依赖于这些粒子,这些粒子的可变性的地球化学、海洋和生物的重要性。大部分的海洋中悬浮物存在碎石骨料颗粒,微生物和粘土矿物。粒子浓度迅速降低深度作为生物饲料和分解粒子沉降的过程。在开放海域悬浮粒子浓度非常低(5 - 12μg / L;gydF4y2Ba布鲁尔et al ., 1976gydF4y2Ba;gydF4y2BaBiscaye Eittreim, 1977gydF4y2Ba;gydF4y2Ba加德纳et al ., 1985gydF4y2Ba)深度大于200 m,大多数深水天然低浓度甚至在海底附近(gydF4y2Ba加德纳et al ., 2018gydF4y2Ba)。这些粒子是负责交通元素的深海,深海生物群的主要能量来源,形成海底沉积物(gydF4y2Ba拉尔,1977gydF4y2Ba;gydF4y2BaAlldredge和银,1988年gydF4y2Ba)。gydF4y2Ba
低浓度使悬浮颗粒丰富的深海难以观察。水悬浮粒子取样可以检测微量;然而,它不能被执行,经常由于难以收集物理样品在深海。因此,变化好时间尺度难以观察使用这种方法。光学传感器,如浊度计,可以连续测量来获得更好的时间理解但其准确性低当粒子浓度非常低,如在深海中,由于电子噪声信号丢失由于低散射强度(gydF4y2Ba加德纳et al ., 1985gydF4y2Ba;gydF4y2Ba奥马尔和MatJafri, 2009gydF4y2Ba)。事实上,以前的研究,使用光学传感器检查深海中的悬浮粒子都集中在雾状层的定义粒子的浓度会升高而周围环境(gydF4y2Ba马丁et al ., 2014gydF4y2Ba;gydF4y2Ba加德纳et al ., 2018gydF4y2Ba;gydF4y2BaHaalboom et al ., 2021gydF4y2Ba)。特殊成像系统拍摄的粒子或浮游生物,因为它们通过一个已知的体积被一个特定的光源都可以连续测量和粒子浓度很低时提供良好的精度。gydF4y2Ba现场gydF4y2Ba成像系统包括浮游生物录像机II(冲程体积)(gydF4y2Ba戴维斯et al ., 2005gydF4y2Ba5)和水下视觉分析器(UVP) (gydF4y2BaPicheral et al ., 2010gydF4y2Ba),这主要是用作分析器。然而,这些系统是用于小空间抽样:冲程体积使用约1 - 350毫升的海水而UVP捕获一个近似面积180 x 180毫米gydF4y2Ba2gydF4y2Ba在镜头面前。这些系统也需要大量的金钱,时间,专业安装和分析。深海调查的一个普遍问题是他们很难获得,昂贵的,对设备有有限的空间。观察方法,弥补了这些缺点是必要的,因为小数据可以获得在一个调查(gydF4y2Ba亚et al ., 2022gydF4y2Ba)。gydF4y2Ba
本研究提出了一种方法来评估悬浮粒子的变化丰富运用基于深度学习对象检测常见的固定相机的图片。目标检测是计算机视觉相关技术,检测特定图像中对象的位置和数量。在过去的十年中,精度已显著改善深度学习技术如卷积神经网络结合(gydF4y2Ba赵et al ., 2019gydF4y2Ba;gydF4y2Ba邹et al ., 2023gydF4y2Ba)。特别是,单程算法执行对象区域评估和分类每个候选人的区域在一个网络,如YOLO(意思gydF4y2BaRedmon et al ., 2016gydF4y2Ba),SSD (gydF4y2Ba刘et al ., 2016gydF4y2Ba),RetineNet (gydF4y2Ba林et al ., 2020gydF4y2Ba)和EfficientDet (gydF4y2Ba谭et al ., 2020gydF4y2Ba),使快速检测。在海洋领域,研究对象检测应用于生物(gydF4y2BaDitria et al ., 2020gydF4y2Ba;gydF4y2Ba萨尔曼et al ., 2020gydF4y2Ba;gydF4y2BaBonofiglio et al ., 2022gydF4y2Ba;gydF4y2BaKandimalla et al ., 2022gydF4y2Ba;gydF4y2BaKnausgard et al ., 2022gydF4y2Ba)和碎片(gydF4y2Ba富尔顿et al ., 2019gydF4y2Ba;gydF4y2Ba雪et al ., 2021gydF4y2Ba),获得高检测精度(如在F1分数> 80%,平均精度(AP50)指数)。在水下图像、悬浮粒子散射光照明和显示为圆形白色反射。图像处理研究往往将粒子视为噪声来源和删除它们从图像(gydF4y2Ba沃尔特et al ., 2004gydF4y2Ba;gydF4y2BaCyganek Gongola, 2018gydF4y2Ba;gydF4y2Ba王et al ., 2021gydF4y2Ba)。另一方面,对象检测目标时,这些特征可能促进检测。gydF4y2Ba
利用粒子出现在高亮度,我们假设应用对象检测允许我们评估粒子数量的变化。在这项研究中,定点成像进行了大约一个月在位于西北太平洋海底山峰会。使用粒子图像作为训练数据的一个子集,一个粒子使用对象检测模型检测算法YOLOv5构建评估大量的悬浮粒子的可变性。几天的期间,一个小规模的开挖试验cobalt-rich锰铁外壳(以下称为“外壳”),这是一个潜在的海底矿产资源(gydF4y2Ba嗯,2004gydF4y2Ba),也进行了。此活动为我们提供了一个测试用例来评估快速、大深海悬浮粒子的变化丰富。我们建议的方法是使用一个简单的和辅助监测工具探索颞深海环境的变化。越来越需要收集基线数据不断膨胀的深海环境影响评估人类活动(gydF4y2BaRamirez-Llodra et al ., 2011gydF4y2Ba;gydF4y2Ba亚et al ., 2022gydF4y2Ba)。特别是,深海采矿可以生成大量的resuspended颗粒,或沉淀物,从而影响生态系统(gydF4y2Ba沃什伯恩et al ., 2019gydF4y2Ba;gydF4y2Ba德拉赞et al ., 2020gydF4y2Ba)。了解悬浮粒子的变化在他们的自然状态是至关重要的环境影响评估(gydF4y2Ba格洛弗和史密斯,2003年gydF4y2Ba;gydF4y2Ba泰勒,2003gydF4y2Ba)。gydF4y2Ba
材料和方法gydF4y2Ba
研究网站gydF4y2Ba
研究网站是平坦的峰会Takuyo-Daigo海底山位于西北太平洋(gydF4y2Ba图1一个gydF4y2Ba)。Takuyo-Daigo海山升起的深度约900 - 1200米,约4500米高5400米的深海平原。²峰会的面积大约是2220公里。峰会上的基底岩石覆盖着外壳大约10厘米厚,和薄沉积物分布在上面。大多数的沉积物是沙子组成的浮游和底栖有孔虫(gydF4y2Ba日野和臼井仪人,2022年gydF4y2Ba;gydF4y2BaOta et al ., 2022gydF4y2Ba)。gydF4y2Ba铃木et al。(审查)gydF4y2Ba采样水在这个区域和报道的悬浮固体浓度约为20μg / L。gydF4y2Ba
图1gydF4y2Ba研究网站gydF4y2Ba(A, B)gydF4y2Ba和深海底部监测装置”Edokko马克1 HSG类型”gydF4y2Ba(C)gydF4y2Ba。在gydF4y2Ba(B)gydF4y2Ba,红色的星星代表站点的图像集合,橙色的区域代表的位置操作挖掘机开挖期间测试。研究网站的深度测量法是在~ 950 m,轮廓线是每2米蓝色是更深层次的。gydF4y2Ba
图片收藏gydF4y2Ba
深海监测装置”Edokko马克1 HSG类型”(Okamoto玻璃有限公司)是安装在两个地点的北部和南部研究网站(圣3和圣7)来捕获视频(gydF4y2Ba图1 b, CgydF4y2Ba)。这两个位置选择关闭(~ 50 - 100米)到开挖区域,以便对比网站和代表不同级别的淤积量。基于初步观察和sediment-plume流动造型,开挖料流的羽毛主要对相对小的St.3 St.7 (gydF4y2Ba铃木等,在审查gydF4y2Ba)。视频录制时间是6月23日至7月30日,2020年。拍摄时间设置为1分钟每4小时从6月23日至7月2日延长电池寿命,和每小时1分钟从7月3日到7月30日的详细观察。之间的2秒的灯打开时,直到灯光的亮度稳定之前移除所有视频分析。相机从底部大约是1.2米,在一个大约64°角,和一个水平视角的大约110°(在空气中)。屏幕分辨率是1080 p / 30 fps。照明是大约1.6米底部,一个角度大约30°,和半照明±60°角(在空气中)。的总光通量大约是4000流明(在空气中)。获得的图像所示的一个例子gydF4y2Ba图2gydF4y2Ba。悬浮粒子是白色或透明,大约10像素大小。gydF4y2Ba
图2gydF4y2Ba在圣3是原始图像的例子gydF4y2Ba(一)gydF4y2Ba和预处理edge-preserving平滑滤波器gydF4y2Ba(B)gydF4y2Ba。gydF4y2Ba(C, D)gydF4y2BaHSB颜色直方图模型与像素亮度(范围0 - 255)在水平轴上,gydF4y2Ba(C)gydF4y2Ba原始图像和gydF4y2Ba(D)gydF4y2Ba对图像进行处理。对象在屏幕上中心的仪器不相关的研究。gydF4y2Ba
悬浮粒子检测gydF4y2Ba
图像的预处理gydF4y2Ba
在分析水下图像预处理是为了便于执行对象的识别。在这项研究中,一个edge-preserving平滑滤波器用作处理方法强调悬浮粒子。在水里,水和散射光吸收的光悬浮粒子、浮游生物导致图像退化等颜色失真,减少对比和模糊。在以前的研究中,水下由像素值校正图像预处理方法,物理建模(gydF4y2BaAncuti et al ., 2018gydF4y2Ba;gydF4y2Ba戴et al ., 2020gydF4y2Ba;gydF4y2Ba李et al ., 2020gydF4y2Ba;gydF4y2BaZhang et al ., 2022gydF4y2Ba),深度学习(gydF4y2Ba伊斯兰教et al ., 2019gydF4y2Ba;gydF4y2Ba王y . et al ., 2019gydF4y2Ba;gydF4y2Ba安瓦尔和李,2020年gydF4y2Ba;gydF4y2Ba李et al ., 2020gydF4y2Ba;gydF4y2Ba剑et al ., 2022gydF4y2Ba)提出了。这些方法的目的是使目标,如海底或生物体,可见通过恢复颜色和消除阴霾。然而,悬浮颗粒物是应该删除的视为噪声,使现有的水下图像预处理方法可能适得其反。edge-preserving平滑滤波器是一个过程,保存对象的轮廓线而平滑的图像噪声。因此,它可能是有用的在提高悬浮粒子和删除模糊的轮廓。典型的例子包括中值滤波、双边滤波器(gydF4y2Ba预Manduchi, 1998gydF4y2Ba;gydF4y2Ba朱et al ., 2019gydF4y2Ba;gydF4y2Ba陈et al ., 2020gydF4y2Ba)。在这项研究中,我们使用了域转换滤波器gydF4y2BaGastal和奥利维拉(2011)gydF4y2Ba基于转换之间定义了一个等距曲线的2 d图像歧管5 d和实线。这个过滤器被实现为一个“细节增强”功能在OpenCV(英特尔),计算机视觉的Python库,方便和快速处理。gydF4y2Ba图2gydF4y2Ba显示了原始和处理图片和它们的亮度直方图。过滤器处理提高了光明与黑暗的部分图片和粒子更清晰。gydF4y2Ba
模型训练和验证gydF4y2Ba
一个物体检测算法YOLOv5 (UltralyticsgydF4y2Bahttps://github.com/ultralytics/yolov5gydF4y2Ba)是用于创建悬浮粒子检测模型。YOLOv5是你只看一次的第五代(YOLO)意思(gydF4y2BaRedmon et al ., 2016gydF4y2Ba),2020年6月发布。YOLO执行意思单程使用卷积神经网络目标检测。YOLOv5有四个训练模型(s, m, l, x)与不同的计算负载和检测精度。在这项研究中,YOLOv5x,计算负载和检测精度最高,被选自粒子目标有几个功能,很可能难以检测。培训和验证数据图像捕捉每1秒7月3日,7日,11日,14日和20日在圣3。选择这些天因为它们含有较大量的粒子,增加的数量和变化的目标数据。训练数据由1028总共包含3484个粒子图像,验证数据由255总共包含958个粒子图像。训练数据来验证数据的比例大约是分布式的宣告对图片的数量和类的数量。圣7不是作为训练数据,只对使用验证数据准确性验证。这让我们检查检测模型是否有效准确位置(背景的图像)时发生了变化。 As with St. 3, the validation data for St. 7 consisted of images captured on July 3, 7, 11, 14, and 20. There was a total of 255 images, containing 575 particles. The hyperparameters were the default settings of YOLOv5. The number of epochs, indicating the number of training iterations, was set to 100, and the batch size was set to 4. The input image size was 1280 × 720 pixels. The loss function was the bounding box regression loss with mean squared error. The loss function is a measure of the magnitude of the discrepancy between the correct value (validation data) and the predicted value (detection result), which is used to optimize the model.
模型的检测精度评估是基于交叉在联盟(借据)的重叠的矩形区域的正确的注释和预测价值。假设地面实况验证数据,验证数据的矩形gydF4y2Ba,检测结果的矩形gydF4y2Ba借据是定义如下。gydF4y2Ba
借据是相对于阈值t。当借据≥t,检测的结果被认为是正确的。在这项研究中,所使用的常用值t = 50%。gydF4y2Ba
精密(P),这表明检测矩形的百分比是正确的,和回忆(R),这表明检测矩形的比例应该发现,定义如下。gydF4y2Ba
然后,平均精度(美联社),衡量模型的检测精度,定义如下。gydF4y2Ba
在这项研究中,AP50,这意味着借据的阈值是50%,是使用。AP50对象是最常见的一种性能指标检测精度(gydF4y2Ba帕迪拉et al ., 2020gydF4y2Ba)。此外,F1得分,索引显示之间的平衡精度和召回,是用来证实模型的性能:gydF4y2Ba
AP50和F1得分,接近100的规模、比例模型的准确性越好。gydF4y2Ba
悬浮粒子检测gydF4y2Ba
粒子进行检测,每隔5秒为每个视频上抓取的图像。只有上40%的图像被用来评估粒子的时态变化。上40%的观看区被选中,是因为这是没有重叠的部分图像的海底,海底之间的相似属性和悬浮粒子阻碍检测。海底的复杂性似乎也导致一些地区的假阳性颗粒检测的位置不是用来训练模型(有关详细信息,请参阅“结果”一章)。粒子的平均数量为每个视频(粒子数字计算平均每5秒就超过1分钟)被定义为N40,并被用来评估时间序列的变化。N40之前平方根转换统计分析(双向方差分析和图基HSD测试)。专注于快速增加悬浮粒子(在下面描述),我们定义了一个“浊度事件”作为一个时期N40被观察到pre-excavation平均水平的10倍以上。检测单个图像所需的时间约为1.5秒当CPU(英特尔核心19 - 10850 k, 3.6 GHz),这是大致相同的粒子是否存在零个或超过200个。gydF4y2Ba
挖掘测试gydF4y2Ba
在图像采集过程中,进行了世界上第一个外壳的小规模开挖试验(gydF4y2Ba日本石油,天然气,金属公司,2020年版gydF4y2Ba)。测试时间是7月9到16,2020年,共有七个疏浚进行了发掘。总开挖距离是129米,开挖宽度是0.5米,总挖泥时间为109分钟(gydF4y2Ba图1 bgydF4y2Ba)。开挖区域位于5 - 7米高的山坡之上,四周~ 950米的海底深度。与履带挖掘机沿着海底,发掘与刀盘外壳,收集挖掘材料通过疏浚软管来补充旋风坦克。详情请参阅gydF4y2Ba铃木et al。(审查)gydF4y2Ba。gydF4y2Ba
结果gydF4y2Ba
检测精度gydF4y2Ba
学习过程是85.8%,最高的AP50发生在96时代(gydF4y2Ba图3一gydF4y2Ba;gydF4y2Ba表1gydF4y2Ba)。因此,模型训练96时代被用于这项研究。损失函数的趋势(gydF4y2Ba图3 bgydF4y2Ba)表明,误差降低了模型的训练,也没有过度学习发生。聚合后的值大约30时代,表明训练的迭代的数量是足够的。圣7,用来训练模型,验证结果显示AP50 = 87.9%的准确性(gydF4y2Ba表1gydF4y2Ba)。圣三的F1分数> 80%(82.1%)和圣7 (86.1%)(gydF4y2Ba表1gydF4y2Ba)。gydF4y2Ba
图3gydF4y2Ba模型训练转变。gydF4y2Ba(一)gydF4y2Ba平均精度(美联社)与正确的检测阈值为50%,AP50,gydF4y2Ba(B)gydF4y2Ba盒子回归的损失。蓝色的线gydF4y2Ba(B)gydF4y2Ba显示过渡的训练而橙色线表示过渡的验证。gydF4y2Ba
表1gydF4y2Ba检测模型的精度验证。gydF4y2Ba
模型检测结果的例子所示gydF4y2Ba图4gydF4y2Ba,gydF4y2Ba5gydF4y2Ba。粒子的大小范围从检测到大约5到20像素(gydF4y2Ba图S1gydF4y2Ba)。粒子主要是检测上40%的图像,背景是黑色的水;在圣3中,粒子位于上40%的比例为99%,在圣7,它是97% (gydF4y2Ba图6gydF4y2Ba)。在图像领域的低60%,白色沙质海底的主要背景,相似的白色粒子都难以辨认,很少发现。悬浮粒子出现模糊和椭圆由于快速流没有检测到。这些non-detections的原因是,粒子的模糊轮廓并不包括在训练数据,以避免假阳性的海底生物。在下部的圣7中,有两个领域的假阳性,与白色沉淀物补丁(gydF4y2Ba图6 b, CgydF4y2Ba)。其他因素,可能导致错误的检测包括生物的出现,如虾和鱼,或轻微的摇曳的摄像系统本身由于电流,但人工目视检查的图像证实,这些都是与我们的数据集(不是问题gydF4y2Ba图S2gydF4y2Ba)。gydF4y2Ba
图4gydF4y2Ba原始图像的例子(左列)和粒子检测结果(右列)在圣3。发现颗粒红色矩形包围。数量的右上角发现图像表示的粒子数。绿色的线穿过图像显示上面的40%。在右列的图像预处理,以提高光和黑暗的区域。图片是在gydF4y2Ba(A, B)gydF4y2Ba15:00 7月3(开挖前测试),gydF4y2Ba(C, D)gydF4y2Ba7月11日上午(浊度事件中挖掘测试),和gydF4y2Ba(E, F)gydF4y2Ba7月20日16:00时(浊度事件后开挖测试)。gydF4y2Ba(G)gydF4y2Ba发现粒子的例子。对象在屏幕上中心的仪器不相关的研究。gydF4y2Ba
图5gydF4y2Ba原始图像的例子(左列)和悬浮粒子检测结果(右列)在圣7。图片是在gydF4y2Ba(A, B)gydF4y2Ba15:00 7月3(挖掘测试前)和gydF4y2Ba(C, D)gydF4y2Ba7月20日16:00时(浊度事件后开挖测试)。gydF4y2Ba(E)gydF4y2Ba发现粒子的例子。gydF4y2Ba
图6gydF4y2Ba粒子位置的检测。垂直和水平轴代表图像上的x和y坐标,分别归一化从0到1。gydF4y2Ba(一)gydF4y2Ba圣3和gydF4y2Ba(B)gydF4y2Ba圣7。gydF4y2Ba(C)gydF4y2Ba的例子的圣7中白色沉积物造成的假阳性。gydF4y2Ba
悬浮粒子波动gydF4y2Ba
双向方差分析发现统计上显著差异的粒子数上检测到图像的40%,N40之间,圣3和圣7 (FgydF4y2Ba1390 =gydF4y2Ba106.44,p < 0.001)和时间(即。,before, during and after the excavation) (F1390 =gydF4y2Ba7.51,p < 0.001),而交互项不显著(F站和时间gydF4y2Ba1390 =gydF4y2Ba0.01,p = 0.988)。光谱分析包括整个这项研究并没有发现潮汐时间(昼夜或half-diurnal)变化的时间序列N40 (gydF4y2Ba图S4gydF4y2Ba)。gydF4y2Ba
自然条件gydF4y2Ba
在自然条件下(开挖前测试),N40与最大值的平均值3.6和2.3的18.5和15.8圣3和7,分别为(gydF4y2Ba表2gydF4y2Ba,gydF4y2Ba图S3gydF4y2Ba)。有显著区别圣3和圣7(图基HSD测试,p < 0.001)。标准差是为每个车站开挖前一半的意思(gydF4y2Ba表2gydF4y2Ba)。gydF4y2Ba
表2gydF4y2Ba粒子数的值上检测到图像的40%,N40,整个观察期分为之前,期间和之后的挖掘。gydF4y2Ba
在和开挖后测试条件gydF4y2Ba
在开挖期间测试N40与最大值的平均值4.7和2.3的248.0和4.0圣3和7,分别。测试后,gydF4y2BaN40与最大值的平均值4.8和2.9的88.7和46.7圣3和7,分别为(gydF4y2Ba表2gydF4y2Ba,gydF4y2Ba图S3gydF4y2Ba)。有显著区别圣3和圣7在(p < 0.001)和开挖后(p < 0.001)。在开挖标准差均值圣3 ~ 4倍,但只有22%的意味着圣7。开挖后标准差在电台(大致的意思是gydF4y2Ba表2gydF4y2Ba)。gydF4y2Ba
在圣3之间没有显著差异,在开挖后(p > 0.1);然而,在圣7,开挖后的粒子数显著大于粒子数前(p < 0.01),在开挖(p < 0.01)。gydF4y2Ba
浊度的事件gydF4y2Ba
N40显示3浊度事件观察期间,两个圣三,一个在圣7,所有发生期间或之后开挖(gydF4y2Ba图7gydF4y2Ba)。圣三,第一个活动是7月11日10点在开挖(最大N40 = 248.0),并观察到只有这一次。第二个事件发生四天结束后开挖观察测试7月20日,从下午一点到20:00(最大N40 = 88.7)。圣7,浊度观察事件发生在7月20日,从下午7点(最大N40 = 46.7)。圣3和圣7,开挖后的最大N40测试发生在7月20日16:00时(gydF4y2Ba图7gydF4y2Ba)。gydF4y2Ba
图7gydF4y2Ba时间的变化探测粒子的数量上图像的40%,N40gydF4y2Ba(一)gydF4y2Ba圣3和gydF4y2Ba(B)gydF4y2Ba圣7。橙色竖线表示开挖。gydF4y2Ba
讨论gydF4y2Ba
这项研究的结果表明,对象检测与深度学习可以作为一个有价值的工具,用于评估在深海悬浮粒子数量使用图像数据集。检测模型检测粒子图像的高精度位置用于模型训练和那些不使用(gydF4y2Ba表1gydF4y2Ba;gydF4y2Ba图4gydF4y2Ba,gydF4y2Ba5gydF4y2Ba)。粒子的模型使我们能够评估时间更改,包括自然小规模的可变性和快速增加可能由于人为干扰(即。、小型外壳开挖试验)(gydF4y2Ba图7gydF4y2Ba)。gydF4y2Ba
检测模型的测量范围宽以及缓解消除工件和短期和长期研究时间尺度的可能性表明我们的方法对于研究深海悬浮粒子浓度可以弥补现有方法的许多缺点。检测模型能够测量从零到数以百计的粒子图像,这可能有助于克服光学传感器的检测范围(gydF4y2Ba加德纳et al ., 1985gydF4y2Ba;gydF4y2Ba奥马尔和MatJafri, 2009gydF4y2Ba)。测量低浓度的光学传感器,它是有用的测量范围缩小到更高的灵敏度。然而,gydF4y2BaBaeye et al。(2022)gydF4y2Ba用浊度计测量海底干扰测试,发现低浊度计通常饱和范围。同时,测量低浊度与光学传感器通常可以产生电子噪声(gydF4y2Ba奥马尔和MatJafri, 2009gydF4y2Ba)。检测模型,可以很容易地视觉识别是否噪音是人工(见gydF4y2Ba图6gydF4y2Ba)可能是有用的作为一个参考光学传感器。优良的时间尺度测量的检测模型还可以补的稀疏测量通常与水取样。在我们的研究中,测量的时间间隔是1 - 4个小时,但它可以进一步调整根据图像捕获的时间间隔。因为检测模型可以覆盖面积大,他们可能更适合作为一种监控工具比专业相机系统通常检查微量的海水,比如冲程体积(gydF4y2Ba戴维斯et al ., 2005gydF4y2Ba)或UVP (gydF4y2BaPicheral et al ., 2010gydF4y2Ba)。因为特殊的相机系统的目标之一是观察浮游生物和粒子的形态,之间有一个权衡的美味图像质量和测量的狭窄空间(gydF4y2Ba伦巴第et al ., 2019gydF4y2Ba)。在这项研究中方法的基本原理是一样的,特殊的相机系统,它的措施粒子图像中。然而,本研究中使用的一般固定相机捕获反射的光在一个更广泛的区域,允许它来衡量稀疏分布的粒子,如所示gydF4y2Ba图4 bgydF4y2Ba,gydF4y2Ba5 bgydF4y2Ba。作为奖励,一般固定相机便宜得多,比专业相机系统和用户友好的常用的各种深海研究。gydF4y2Ba
我们的研究是第一次,我们知道尝试使用深度学习量化悬浮粒子数量。而其他计算方法存在除了深度学习在量化悬浮粒子可能有用,比如二进制处理和运动检测,这些方法固有的特征,可能会导致错误的测量。二进制处理,图像分为背景和目标对象,可以测量粒子在黑色背景下脱颖而出,但是如果对象以外的粒子,如生物,在图像捕获,他们也将分开的背景和测量。运动检测,检测移动对象在一个固定的背景下,也可能是一个选择的观察流动粒子(gydF4y2Ba内里et al ., 1998gydF4y2Ba);然而,在我们的研究中,视频(图像)包括移动虾和鱼而运动也由相机的轻微的摇摆系统本身引起的电流。运动检测的使用也会避免使用大量的视频ROV潜水期间收集的数据。一般来说,使用深度学习培训系统目标的例子比手动编程过程更容易预测和避免所有可能的假阳性目标如上所述(gydF4y2Ba约旦和米切尔,2015gydF4y2Ba),大大减少了需要人工视觉确认和额外的处理。剩余的挑战之一是,假阳性发生在海底的某些领域在车站不用于模型训练(gydF4y2Ba图6gydF4y2Ba),但这可以解决通过增加数据集用于培训的多样性(例如,环境和拍摄条件的变化)。gydF4y2Ba
我们的模型结果表明,类似的评估使用这种方法可以为图像数据从不同的地点,也没有使用训练数据的领域。中被检测出大部分的粒子图像的部分背景黑色的水,和通过提取部分的检测结果,假阳性的可能性大大降低。在深水,没有阳光,背景总是黑色的水在任何位置,除非海底捕捉和浊度普遍较低,因此影响图像的环境条件相当类似,无论具体的栖息地。因此,深海的模型可能是同样准确的图像数据集。然而,应该注意的是,在这项研究中使用的图像数据集是仅有的两个网站,并可能不够的数量和多样性。它仍然需要测试模型的性能使用数据集和更多种类的射击和环境条件。水下目标检测的工作一直在做鱼(gydF4y2BaDitria et al ., 2020gydF4y2Ba;gydF4y2Ba萨尔曼et al ., 2020gydF4y2Ba;gydF4y2BaBonofiglio et al ., 2022gydF4y2Ba;gydF4y2BaKandimalla et al ., 2022gydF4y2Ba;gydF4y2BaKnausgard et al ., 2022gydF4y2Ba),尽管他们的外观和行为不同于悬浮颗粒,可能是一个有用的参考数据集收集。gydF4y2BaDitria et al。(2020)gydF4y2Ba目标鱼的一种检测,测试模型的性能精度从相同的河口地区训练图像数据和图像从不同河口地区,发现类似的高精度F1分数和AP50 (> 92%)。gydF4y2Ba萨尔曼et al . (2020)gydF4y2Ba提出一个方法来检测移动的鱼,证明方法是健壮使用大型水下视频图像变化存储库包含不同环境和鱼类F1得分(> 80%)。gydF4y2Ba
未来的工作需要改善我们的粉探伤方法包括扩展图像数据集的多样性用于精度验证和识别模型的适用性的限制。探索未来的数据集的例子包括图像与广泛的栖息地环境条件包括粒度、悬浮粒子浓度和流速(流动速度模糊粒子能被探测到的)。的成像条件下,可能需要特别注意照明,影响悬浮粒子的可见性(gydF4y2Ba沃尔特et al ., 2004gydF4y2Ba;gydF4y2BaCyganek Gongola, 2018gydF4y2Ba)。检测结果还需要校准与悬浮粒子的物理集合什么基本上是定性数据转化为实际的定量数据。否则,他们不能从其他研究与观察(例如,gydF4y2BaBiscaye Eittreim, 1977gydF4y2Ba;gydF4y2Ba加德纳et al ., 2018gydF4y2Ba)。实验室稀释方法,将浊度计读数(formazin浊度单位,工联会)评分浓度(毫克/升)可能是一个参考校准。例如,gydF4y2Ba斯皮尔曼et al。(2020)gydF4y2Ba沉积物样品稀释的海水字段创建已知浓度的悬浮液。光学传感器被沉浸在这些悬浮液和工联会读数记录评分,这个过程是一个浓度范围的重复。为未来的工作,类似的校准有可能取代光学传感器的相机,使用水箱。此外,即使突然改变由于人为的影响,它在很大程度上仍然是未知的悬浮粒子将生态相关的阈值(gydF4y2Ba沃什伯恩et al ., 2019gydF4y2Ba;gydF4y2Ba德拉赞et al ., 2020gydF4y2Ba),虽然这工作不直接相关的具体方法。gydF4y2Ba
我们的模型可以提供洞察时态悬浮粒子的变化。开挖前的N40值极低强调通过以前的方法测量的困难。但事实上,这些粒子构成的主要食物来源在深海生物(gydF4y2Ba拉尔,1977gydF4y2Ba;gydF4y2BaAlldredge和银,1988年gydF4y2Ba)表明,观察粒子的变化,例如,N40 = 1 N40 = 10构成可能增加900%的粮食供应。因此,即使是“小”颞可变性大型深海的重要性,可能和我们的检测模型可以发现这些微小的变化。gydF4y2Ba
开挖后的观察测试也有有趣的深海采矿影响对未来的影响。平均N40差异的原因在时间和粒子的快速增加,或浊度的事件,可能是沉积物柱碎壳粒子,大量resuspended沉积物所产生的干扰,或自然沉积物再悬浮的泥沙沉积的羽开挖后(gydF4y2BaSharma et al ., 2001gydF4y2Ba;gydF4y2BaAleynik et al ., 2017gydF4y2Ba)。在圣N40 7,挖掘测试之前和期间没有区别,但也有之前和之后的差异,并且期间和之后可能表明,沉积后,粒子从挖掘在周围地区增加悬浮粒子的数量随着时间的推移,由于再悬浮(gydF4y2BaSharma et al ., 2001gydF4y2Ba;gydF4y2BaAleynik et al ., 2017gydF4y2Ba)。然而,人类干扰通常与变异性增加有关,和非常大的标准差在开挖期间在圣3相比,其他时候表明有改变悬浮粒子浓度在测试期间(gydF4y2Ba表2gydF4y2Ba)。关于动态的沉淀物(仍然是未知的gydF4y2Ba沃什伯恩et al ., 2019gydF4y2Ba;gydF4y2Ba德拉赞et al ., 2020gydF4y2Ba)和再悬浮在深海海底山(gydF4y2BaTurnewitsch et al ., 2013gydF4y2Ba)。这些可能的原因不详细讨论,因为它们超出了本文的范围,重点在于方法。详情请参阅gydF4y2Ba铃木et al。(审查)gydF4y2Ba。如果浊度事件确实是由开挖引起的测试中,一个希望有一缕期间生成的每个7发掘。的原因可能只有一个事件观察开挖,开挖期间太短被one-minute-per-hour录像。由于限制在我们的数据集,我们选择使用高颗粒浓度的挖掘测试作为一个例子为我们的模型,而不是试图关注和挖掘本身定义的程度影响。这强调了仔细考虑的重要性抽样间隔来确保检查特定假设的能力。gydF4y2Ba
我们的检测模型的一个显著的优点是,它可以适应观测数据获得用于其他目的,甚至开放的可能性提供新的见解的数千小时过去收集的数据。检测模型可能适用于任何深海地区和摄像系统,只要整个图像没有显示海底。深海环境监测与意象是一种常见的研究课题(gydF4y2Ba比克内尔et al ., 2016gydF4y2Ba);因此,已经有大量的图像数据的检测模型可能适用。海洋观测的基本挑战是降低成本(gydF4y2Ba王z . a . et al ., 2019gydF4y2Ba)。这一挑战尤为突出在深海调查访问字段是困难的(gydF4y2Ba亚et al ., 2022gydF4y2Ba)。利用现有成像数据可能减少需要新的调查和需要熟悉和安装的专业设备,并可能允许快速数据收集以更低的成本。检测模型可以更好地利用现有的数据的新选项,提高我们对深海中悬浮粒子的理解。gydF4y2Ba
数据可用性声明gydF4y2Ba
最初的贡献提出了研究中都包含在这篇文章/gydF4y2Ba补充材料gydF4y2Ba。进一步询问可以针对相应的作者。gydF4y2Ba
作者的贡献gydF4y2Ba
概念化:NS。方法:NS和太瓦。原创作品草稿准备:NS和太瓦。Writing-review并检查:SY和。图像采集:。培训和验证的对象检测模型:NS。统计分析:NS和太瓦。所有作者已阅读及同意发布版本的手稿。所有作者的文章和批准提交的版本。gydF4y2Ba
确认gydF4y2Ba
这个项目是由机构委托对自然资源和能源在日本经济贸易和工业金属和能源安全组织和日本(JOGMEC)。作者表达他们的感谢义明Igarashi)和Jumpei Minatoya (JOGMEC)和Kazumasa Ikeda (Okamoto玻璃有限公司),和其他参与这个项目。本研究也支持了研究实验室要发展和技术(E-code)开张。gydF4y2Ba
的利益冲突gydF4y2Ba
作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。gydF4y2Ba
出版商的注意gydF4y2Ba
本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。gydF4y2Ba
补充材料gydF4y2Ba
本文的补充材料在网上可以找到:gydF4y2Bahttps://www.雷竞技rebatfrontiersin.org/articles/10.3389/fmars.2023.1132500/full补充材料gydF4y2Ba
补充图1 |gydF4y2Ba发现粒子的大小。垂直和水平轴表示沿着x轴和y轴的大小(以像素为单位),分别。注意,许多点绘制互相重叠。gydF4y2Ba
补充图2 |gydF4y2Ba图像显示了可能的假阳性目标的例子。虾,鱼,和一根绳子用于安全摄像系统被抓获。gydF4y2Ba(A, B)gydF4y2Ba从圣3和吗gydF4y2Ba(C, D)gydF4y2Ba来自圣7。右上角的图片中的数字代表粒子探测到的数量模型。gydF4y2Ba
补充图3 |gydF4y2BaBox-and-whisker块悬浮粒子计数检测上40%的图片(N40)。分别绘制之前、期间和之后开挖试验在圣3和圣7。gydF4y2Ba
补充图4 |gydF4y2Ba光谱分析的结果的数量上40%的悬浮粒子检测图像(N40)。gydF4y2Ba(一)gydF4y2Ba圣3和gydF4y2Ba(B)gydF4y2Ba圣7。使用的数据来自7月3日,2020年,当图像间隔1小时。gydF4y2Ba
引用gydF4y2Ba
Aleynik D。,在一个llM. E., Dale A., Vink A. (2017). Impact of remotely generated eddies on plume dispersion at abyssal mining sites in the pacific.科学。代表。gydF4y2Ba7日,16959年。doi: 10.1038 / s41598 - 017 - 16912 - 2gydF4y2Ba
《公共医学图书馆摘要》gydF4y2Ba|gydF4y2BaCrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
Alldredge a L。,Silver M. W. (1988). Characteristics, dynamics and significance of marine snow.掠夺。Oceanogr。gydF4y2Ba20 (1),41 - 82。0079 - 6611 . doi: 10.1016 / (88) 90053 - 5gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
阿蒙·d·J。,Gollner S., Morato T., Smith C. R., Chen C., Christiansen S., et al. (2022). Assessment of scientific gaps related to the effective environmental management of deep-seabed mining.3月政策gydF4y2Ba138年,105006年。doi: 10.1016 / j.marpol.2022.105006gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
Ancuti c . O。,Ancuti C。,De Vleeschouwer C., Bekaert P. (2018). Color balance and fusion for underwater image enhancement.IEEE反式。图像的过程。gydF4y2Ba27 (1),379 - 393。doi: 10.1109 / TIP.2017.2759252gydF4y2Ba
《公共医学图书馆摘要》gydF4y2Ba|gydF4y2BaCrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
安瓦尔。李,C。(2020)。潜水深入水下图像增强:一项调查。gydF4y2Ba信号的过程。Commun形象。gydF4y2Ba89年,115978年。doi: 10.1016 / j.image.2020.115978gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
Baeye M。,Purkiani K., Stigter H., Gillard B., Fettweis M., Greinert J. (2022). Tidally driven dispersion of a deep-Sea sediment plume originating from seafloor disturbance in the DISCOL area (SE-pacific ocean).GeoscigydF4y2Ba12 (1)8。doi: 10.3390 / geosciences12010008gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
比克内尔·a·w·J。,无b J。,Sheehan E. V., Votier S. C. V., Witt M. J. (2016). Camera technology for monitoring marine biodiversity and human impact.前面。生态。环绕。gydF4y2Ba14 (8),424 - 432。doi: 10.1002 / fee.1322gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
Biscaye p E。,Eittreim S. L. (1977). Suspended particulate loads and transports in the nepheloid layer of the abyssal Atlantic ocean.3月青烟。gydF4y2Ba23 (1 - 2),155 - 172。0025 - 3227 . doi: 10.1016 / (77) 90087 - 1gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
Bonofiglio F。,De Leo F. C., Yee C., Chatzievangelou D., Aguzzi J., Marini S. (2022). Machine learning applied to big data from marine cabled observatories: a case study of sablefish monitoring in the NE pacific.前面。3月科学。gydF4y2Ba9。doi: 10.3389 / fmars.2022.842946gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
布鲁尔p·G。,Spencer D. W., Biscaye P. E., Hanley A., Sachs P. L., Smith C. L., et al. (1976). The distribution of particulate matter in the Atlantic ocean.地球的星球。科学。列托人。gydF4y2Ba32 (2),393 - 402。doi: 10.1016 / 0012 - 821 x (76) 90080 - 7gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
陈B。,T年代eng Y., Yin J. (2020). Gaussian-Adaptive bilateral filter.IEEE信号的过程。列托人。gydF4y2Ba27日,1670 - 1674。doi: 10.1109 / LSP.2020.3024990gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
Cyganek B。,Gongola K. (2018). Real-time marine snow noise removal from underwater video sequences.j .电子。成像gydF4y2Ba(4)27日,43002年。jei.27.4.043002 doi: 10.1117/1.gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
戴C。,Lin M., Wu X., Wang Z., Guan Z. (2020). Single underwater image restoration by decomposing curves of attenuating color.选择激光抛光工艺。gydF4y2Ba123年,105947年。doi: 10.1016 / j.optlastec.2019.105947gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
戴维斯c . S。,Thwaites F. T., Gallager S. M., Hu Q. (2005). A three-axis fast-tow digital video plankton recorder for rapid surveys of plankton taxa and hydrography.Limnol。Oceanogr。:方法gydF4y2Ba3 (2),59 - 74。doi: 10.4319 / lom.2005.3.59gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
Ditria e . M。,Lopez-Marcano S., Sievers M., Jinks E. L., Brown C. J., Connolly R. M. (2020). Automating the analysis of fish abundance using object detection: optimizing animal ecology with deep learning.前面。3月科学。gydF4y2Ba7所示。doi: 10.3389 / fmars.2020.00429gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
德拉赞j . C。,Smith C. R., Gjerde K. M., Haddock S. H. D., Carter G. S., Choy C. A., et al. (2020). Midwater ecosystems must be considered when evaluating environmental risks of deep-sea mining.PNASgydF4y2Ba117 (30),17455 - 17460。doi: 10.1073 / pnas.2011914117gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
富尔顿M。,香港J。,伊斯兰教m . J。,Sattar J. (2019). “Robotic detection of marine litter using deep visual detection models,” in 2019 International Conference on Robotics and Automation (ICRA). (Montreal, QC, Canada: IEEE), 5752–5758. doi: 10.1109/ICRA.2019.8793975
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
加德纳w . D。,Biscaye p E。,Zaneveld J. R. V., Richardson M. J. (1985). Calibration and comparison of the LDGO nephelometer and the OSU transmissometer on the Nova scotian rise.3月青烟。gydF4y2Ba66 (1 - 4),323 - 344。0025 - 3227 . doi: 10.1016 / (85) 90037 - 4gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
加德纳w . D。,R我chardson M. J., Mishonov A. V., Biscaye P. E. (2018). Global comparison of benthic nepheloid layers based on 52 years of nephelometer and transmissometer measurements.掠夺。Oceanogr。gydF4y2Ba168年,100 - 111。doi: 10.1016 / j.pocean.2018.09.008gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
Gastal e . s . L。,Ol我ve我r一个M. M. (2011). Domain transform for edge-aware image and video processing.ACM反式。图gydF4y2Ba30 (4),doi: 10.1145/2010324.1964964gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
格洛弗。,Smith C. (2003). The deep-sea floor ecosystem: current status and prospects of anthropogenic change by the year 2025.环绕。Conserv。gydF4y2Ba30 (3),219 - 241。doi: 10.1017 / S0376892903000225gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
Haalboom年代。,deStigter H., Duineveld G., van Haren H., Reichart G., Mienis F. (2021). Suspended particulate matter in a submarine canyon (Whittard canyon, bay of Biscay, NE Atlantic ocean): assessment of commonly used instruments to record turbidity.3月青烟。gydF4y2Ba434年,106439年。doi: 10.1016 / j.margeo.2021.106439gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
嗯j . r . (2004)。“Cobalt-rich锰铁外壳:全球分布、组成、起源和研究活动,”gydF4y2Ba矿物质除了多金属结核的国际海底区域gydF4y2Ba(牙买加金斯顿:国际海底管理局),188 - 256。gydF4y2Ba
日野H。,U年代u我一个。(2022)。区域和精细的组成和结构的可变性hydrogenetic锰铁外壳:25钻岩心地质特征从Marcus-wake海底山。gydF4y2Ba3月Georesources Geotechnol。gydF4y2Ba40 (4),415 - 437。doi: 10.1080 / 1064119 x.2021.1904066gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
伊斯兰教m . J。夏,Y。,Scttar J. (2019). Fast underwater image enhancement for improved visual perception.IEEE机器人。奥特曼。列托人。gydF4y2Ba5 (2),3227 - 3234。doi: 10.1109 / LRA.2020.2974710gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
日本石油,天然气,金属公司(2020)gydF4y2Ba新闻发布:JOGMEC进行了世界上第一个成功挖掘cobalt-rich在深海海底;挖掘测试旨在识别最佳实践访问重要的绿色科技成分同时最小化对环境的影响gydF4y2Ba。可以在:gydF4y2Bahttp://www.jogmec.go.jp/english/news/release/news_01_000033.htmlgydF4y2Ba(2022年11月4日通过)。gydF4y2Ba
剑问。,顾Y。李,C。,Cong R., Shao F. (2022). Underwater image enhancement quality evaluation: benchmark dataset and objective metric.IEEE反式。电路系统。视频抛光工艺。gydF4y2Ba32 (9),5959 - 5974。doi: 10.1109 / TCSVT.2022.3164918gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
约旦m . I。,Mitchell T. M. (2015). Machine learning: trends, perspectives, and prospects.科学gydF4y2Ba349 (6245),255 - 260。doi: 10.1126 / science.aaa8415gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
Kandimalla V。,理查德M。史密斯,F。,Quirion J., Torgo L., Whidden C. (2022). Automated detection, classification and counting of fish in fish passages with deep learning.前面。3月科学。gydF4y2Ba8。doi: 10.3389 / fmars.2021.823173gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
Knausgard k . M。的功能,但。,Sørdalen T. K., Halvorsen K. T., Kleiven A. R., Jiao L., et al. (2022). Temperate fish detection and classification: a deep learning based approach.达成。智能。gydF4y2Ba52岁,6988 - 7001。doi: 10.1007 / s10489 - 020 - 02154 - 9gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
Lal d (1977)。粒子的海洋缩影:悬浮颗粒物,约1克100吨海水,海洋化学中起着至关重要的作用。gydF4y2Ba科学gydF4y2Ba198 (4321),997 - 1009。doi: 10.1126 / science.198.4321.997gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
李。,安瓦尔。,Por我kli F. (2020). Underwater scene prior inspired deep underwater image and video enhancement.Recognit模式。gydF4y2Ba98年,107038年。doi: 10.1016 / j.patcog.2019.107038gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
林T。,Goyal P., Girshick R., He K., Dollár P. (2020). Focal loss for dense object detection.IEEE反式。模式肛门。马赫。智能。gydF4y2Ba42 (2),318 - 327。doi: 10.1109 / TPAMI.2018.2858826gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
刘W。,一个nguelov D., Erhan D., Szegedy C., Reed S., Fu C.-Y., et al. (2016). “SSD: Single shot MultiBox detector,” in计算机视觉大会2016程序gydF4y2Ba(可汗,瑞士:Springer), 21-37。doi: 10.1007 / 978 - 3 - 319 - 46448 - 0 - _2gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
伦巴第F。,老板E。,Waite A. M., Vogt M., Uitz J., Stemmann L., et al. (2019). Globally consistent quantitative observations of planktonic ecosystems.前面。3月科学。gydF4y2Ba6。doi: 10.3389 / fmars.2019.00196gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
马丁J。,普伊格P。,P一个l一个nques A., Ribó M. (2014). Trawling-induced daily sediment resuspension in the flank of a Mediterranean submarine canyon.深海研究》第二gydF4y2Ba104年,174 - 183。doi: 10.1016 / j.dsr2.2013.05.036gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
内里。,Colonnese S., Russo G., Talone P. (1998). Automatic moving object and background separation.信号的过程。gydF4y2Ba66 (2),219 - 232。doi: 10.1016 / s0165 - 1684 (98) 00007 - 3gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
奥马尔·a·f·B。,MatJafri M. Z. B. (2009). Turbidimeter design and analysis: a review on optical fiber sensors for the measurement of water turbidity.传感器gydF4y2Ba9日,8311 - 8335。doi: 10.3390 / s91008311gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
Ota Y。,Suzumura M., Tsukasaki A., Suzuki A., Seike K., Minatoya J. (2022). Sediment accumulation rates and particle mixing at northwestern pacific seamounts.j . 3月系统。gydF4y2Ba229年,103719年。doi: 10.1016 / j.jmarsys.2022.103719gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
帕迪拉R。,NettoS. L., Da Silva E. A. B. (2020). “A survey on performance metrics for object-detection algorithms,” in 2020 International Conference on Systems, Signals and Image Processing (IWSSIP). (Niteroi, Rio de Janeiro, Brazil: IEEE), 237–247. doi: 10.1109/IWSSIP48289.2020.9145130
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
Picheral M。,Guidi L。,Stemmann L., Karl D. M., Iddaoud G., Gorsky G. (2010). The underwater vision profiler 5: an advanced instrument for high spatial resolution studies of particle size spectra and zooplankton.Limnol。Oceanogr。:方法gydF4y2Ba8 (9),462 - 473。doi: 10.4319 / lom.2010.8.462gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
Ramirez-Llodra E。,泰勒p。贝克m . C。,Bergstad O. A., Clark M. R., Escobar E., et al. (2011). Man and the last great wilderness: human impact on the deep Sea.《公共科学图书馆•综合》gydF4y2Ba6 (8),e22588。doi: 10.1371 / journal.pone.0022588gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
Redmon J。,Divvala S., Girshick R., Farhadi A. (2016). “You only look once: unified, real-time object detection,” in 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). (Las Vegas, NV, USA: IEEE), 779–788. doi: 10.1109/CVPR.2016.91
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
萨尔曼·A。,Siddiqui S. A., Shafait F., Mian A., Shortis M. R., Khurshid K., et al. (2020). Automatic fish detection in underwater videos by a deep neural network-based hybrid motion learning system.冰j . 3月科学。gydF4y2Ba77 (4),1295 - 1307。doi: 10.1093 / icesjms / fsz025gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
Sharma R。,N一个gender Nath B., Parthiban G., Jai Sankar S. (2001). Sediment redistribution during simulated benthic disturbance and its implications on deep seabed mining.深海研究》第二gydF4y2Ba48 (16),3363 - 3380。doi: 10.1016 / s0967 - 0645 (01) 00046 - 7gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
斯皮尔曼J。,泰勒J。,Crossouard N., Cooper A., Turnbull M., Manning A., et al. (2020). Measurement and modelling of deep sea sediment plumes and implications for deep sea mining.科学。代表。gydF4y2Ba10日(5075年)。doi: 10.1038 / s41598 - 020 - 61837 - ygydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
铃木。,Minatoya J., Fukushima T., Yokooka H., Kudo K., Sugishima H., et al. (in review). Environmental impact assessment for small-scale excavation test of cobalt-rich ferromanganese crusts of a seamount in the northwestern pacific.
谭米。,P一个ng R., Le Q. V. (2020). “EfficientDet: scalable and efficient object detection,” in 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). (Seattle, WA, USA: IEEE), 10778–10787. doi: 10.1109/CVPR42600.2020.01079
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
预C。,Manduchi R. (1998). “Bilateral filtering for gray and color images,” in Sixth International Conference on Computer Vision (IEEE Cat. No.98CH36271). (Bombay, India: IEEE), 839–846. doi: 10.1109/ICCV.1998.710815
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
Turnewitsch R。Falahat S。,Nycander J., Dalea A., Scottc R. B., Furnival D. (2013). Deep-sea fluid and sediment dynamics—Influence of hill- to seamount-scale seafloor topography.地球科学。牧师。gydF4y2Ba127年,203 - 241。doi: 10.1016 / j.earscirev.2013.10.005gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
泰勒p (2003)。深海处置:模拟自然的或人造ami吗?gydF4y2Ba环绕。Conserv。gydF4y2Ba30 (1),26 39。doi: 10.1017 / S037689290300002XgydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
沃尔特D。,Edgington D. R., Koch C. (2004). “Detection and tracking of objects in underwater video,” in Proceedings of the 2004 IEEE Computer Society Conference. (Washington, D.C., USA: IEEE), doi: 10.1109/CVPR.2004.1315079
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
王z。,Moustahfid H., Mueller A. V., Michel A. P. M., Mowlem M., Glazer B. T., et al. (2019). Advancing observation of ocean biogeochemistry, biology, and ecosystems with cost-effective原位gydF4y2Ba传感技术。gydF4y2Ba前面。3月科学。gydF4y2Ba6。doi: 10.3389 / fmars.2019.00519gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
王Y。,Song W., Fortino G., Qi L., Zhang W., Liotta A. (2019). An Experimental-based review of image enhancement and image restoration methods for underwater imaging.IEEE访问gydF4y2Ba7,(99)。doi: 10.1109 / ACCESS.2019.2932130gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
王Y。,于X。,一个D。,Wei Y. (2021). Underwater image enhancement and marine snow removal for fishery based on integrated dual-channel neural network.第一版。电子。阿格利司。gydF4y2Ba186年,106182年。doi: 10.1016 / j.compag.2021.106182gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
沃什伯恩·t·W。,特纳p . J。歌顿j . M。,Jones D. O. B., Weaver P., Van Dover C. L. (2019). Ecological risk assessment for deep-sea mining.海洋海岸。管理。gydF4y2Ba176 (15),24-39。doi: 10.1016 / j.ocecoaman.2019.04.014”gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
雪B。,Huang B., Wei W., Chen G., Li H., Zhao N., et al. (2021). An efficient deep-Sea debris detection method using deep neural networks.IEEE j .选取。上面。达成。地球观察。远程Sens。gydF4y2Ba14日,12348 - 12360。doi: 10.1109 / JSTARS.2021.3130238gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
张W。,Zhuang P., Sun H., Li G., Kwong S., Li C. (2022). Underwater image enhancement通过gydF4y2Ba最小的颜色损失和局部自适应对比度增强。gydF4y2BaIEEE反式。图像的过程。gydF4y2Ba31日,3997 - 4010。doi: 10.1109 / TIP.2022.3177129gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
赵Z。,Zheng P., Xu S., Wu X. (2019). Object detection with deep learning: a review.IEEE反式。神经。学习。系统。gydF4y2Ba30 (11),3212 - 3232。doi: 10.1109 / TNNLS.2018.2876865gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
朱F。,Liang Z., Jia X., Zhang L., Yu Y. (2019). A benchmark for edge-preserving image smoothing.IEEE反式。图像的过程。gydF4y2Ba28 (7),3556 - 3570。doi: 10.1109 / TIP.2019.2908778gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
邹Z。,Chen K., Shi Z., Guo Y., Ye J. (2023). Object detection in 20 years: a survey.Proc。IEEEgydF4y2Ba111 (3),257 - 276。doi: 10.1109 / JPROC.2023.3238524gydF4y2Ba
CrossRef全文gydF4y2Ba|gydF4y2Ba谷歌学术搜索gydF4y2Ba
关键词:gydF4y2Ba悬浮粒子、监控工具、机器学习、目标检测,计算机视觉,YOLO,意思深海采矿、沉积物柱gydF4y2Ba
引用:gydF4y2Ba齐藤N,此役TW,矢野年代和铃木(2023)使用深度学习评估时间的变化在深海悬浮粒子。gydF4y2Ba前面。3月科学。gydF4y2Ba10:1132500。doi: 10.3389 / fmars.2023.1132500gydF4y2Ba
收到:gydF4y2Ba2022年12月27日;gydF4y2Ba接受:gydF4y2Ba2023年5月04;gydF4y2Ba
发表:gydF4y2Ba2023年7月11日。gydF4y2Ba
编辑:gydF4y2Ba
Haiyong郑gydF4y2Ba、中国海洋大学、中国gydF4y2Ba版权gydF4y2Ba©2023齐藤,此役,矢野和铃木。这是一个开放分布式根据文章gydF4y2Ba知识共享归属许可(CC)gydF4y2Ba。使用、分发或复制在其他论坛是允许的,提供了原始作者(年代)和著作权人(s)认为,最初发表在这个期刊引用,按照公认的学术实践。没有使用、分发或复制是不符合这些条件的允许。gydF4y2Ba
*通信:gydF4y2BaNaoki斋藤,gydF4y2Ban.saito@aist.go.jpgydF4y2Ba