提高目标检测的鲁棒性通过使用模糊逻辑Multi-Camera-Based融合算法

1介绍

杂草实时检测是一个新兴领域,农业机器人应用深层神经网络实时杂草检测、作物管理和广泛的路径规划(Vougioukas 2019;王et al ., 2019)。农业机器人的出现,准确识别杂草和作物的深入了解整体目标检测技术变得越来越重要。一般来说,对象检测系统检测到目标对象使用经典计算机视觉和深度学习技术,确定检测到对象的类别,并创建一个边界框标记的位置对象(Russakovsky et al ., 2015;志强,6月,2017年)。但是实时目标检测是一个复杂的挑战由于背景的影响,噪声、遮挡,决议,影响系统的性能和规模(志强,6月,2017年)。2013年,R-CNN (CNN的地区特性)(Girshick et al ., 2014)显示改善对象检测比传统计算机视觉检测技术和开始的趋势CNN-based对象。

许多先进的卷积神经网络(CNN)探测器模型像SPP-net (他et al ., 2015年),快R-CNN (Girshick et al ., 2014有人知道由罗(),Redmon et al ., 2016)和RetinaNet (林et al ., 2017)提高检测精度在标准图像数据集使用新的CNN架构。但是在大多数的情况下,CNN模型训练与图片没有噪音或退化。在培训期间,图像增强是用来介绍噪声增加模型的鲁棒性,但有时,他们可能无法捕捉真实的场景。不可能包括所有可能类型的噪音在CNN的训练。在真实的场景中,由于传感器的噪声会影响图像的质量品质、照明、振动、曝光时间,等。它已经表明,引入精心挑选噪声可以产生错误的结果,即使他们没有影响视觉识别(Moosavi-Dezfooli et al ., 2016)。Prasun et al。(罗伊et al ., 2018显示不同的图像退化如何影响CNN模型的性能。他们无法想出一个解决方案,可以产生一个健壮的CNN架构对图像退化时存在大量的类,比如ImageNet。此外,在最近一段时间,观察到cnn的准确性显著减少负面形象上只有测试时,它显示了一个固有的偏见积极训练数据集(Hosseini et al ., 2017)。在这个研究中,我们想要解决这个CNN关于不确定性的固有限制向正确的对象检测和边界框(BB)创建一个多幅相机设置和模糊逻辑。

模糊逻辑具有较高的潜在在理解复杂系统分析解决方案可能不存在或系统没有正确理解,但是可以观察到(罗斯et al ., 2004)。根据罗斯,模糊系统是有用的在两个场景:“1)的情况下涉及高度复杂的系统,其行为并不好理解,2)在一个近似的情况下,但很快,解决方案是必要的”(罗斯et al ., 2004)。在农业机器人技术,模糊神经网络滑模控制是用来构建一个苹果采摘机器人(陈et al ., 2019)。罗密欧等人与动态模糊聚类阈值用于绿色识别(罗密欧et al ., 2013)。迈耶等人模糊聚类用于植物和土壤分类从彩色图像(迈耶et al ., 2004)。模糊分类器是用来检测实时杂草在甘蔗领域(Sujaritha et al ., 2017)。模糊专家系统用于土壤管理(洛佩兹et al ., 2008),预测棉花产量(Papageorgiou et al ., 2011),并在作物疾病管理text-to-talk用户界面(Kolhe et al ., 2011)。一般来说,使用模糊逻辑作为作物或杂草检测和分类器作为作物专家系统,杂草和土壤管理。但没有深入的研究发现,利用模糊逻辑使用多个摄像机设置提高大麻检测精度。

本研究的目的是实现一个multi-sensor-based模糊融合算法来提高任何CNN-based对象检测系统的鲁棒性。在本文中,第二部分介绍了研究的步骤。第三节显示了多幅相机系统的实验装置。它还表明,这种设置的单应性矩阵计算。第四节描述了CNN-based对象检测方法与分类结果。第5部分描述了模糊规则和隶属度函数。第六节显示了模糊融合系统的结果。

2方法

杂草可以用CNN-based探测器检测到非常高的精度和实时。如果我们使用多个摄像头,那么整个系统的可靠性增加。当我们使用一个检测器来创建一个BB,它给了我们对象的准确比例在BB和BB的位置。在本文中,我们探索的可能性,提高整个系统的鲁棒性通过测量的“信心”BB多个摄像头的位置。探测器将给我们BB每个图像平面上的位置。但是我们如何知道BB的位置是正确的吗?当我们发现一个对象使用多个摄像头,BB摄像机图像平面上的位置可能会出现在不同的地方根据检测准确性和摄像机的位置。但在3 d空间中,对象是相机在同一位置。我们将处理这些信息来计算BB的信心得分位置使用射影变换,借据重叠值,模糊基于逻辑的融合。我们将完成以下步骤来计算信心得分:

•创建一个两个摄像头设置和计算两个摄像头之间的单应性。

•地方杂草(对象)在不同的特定距离相机的设置。

•使用CNN探测器创建BB的相机检测到杂草。使用最好的检测BB,杂草是完全检测并在BB。

•使用项目一个摄像机图像平面的单应性矩阵,然后计算投影后的BBs的借据重叠值为不同杂草的位置。

•的逻辑如下:如果创建完美的BB在一定距离的杂草的位置,那么它将有一个特定的借据重叠值。我们将为这个场景中有“高”的信心。如果位置或借据值偏离完美的条件,那么我们将有“不到高”信心的检测。使用模糊“如果……THEN” rules to capture these conditions.

•使用去模糊化的脆值不同的场景“信心”。

3投影变换

在针孔相机模型中,一个点在三维空间投影到一个成像表面叫做图像平面(Kaehler Bradski, 2016)。所有射线(或点)的光通过单点叫做相机中心。对象的大小可以计算图像平面上的相似三角形。假设相机校准或没有扭曲(径向和桶形失真),一个点 $\left(X,Y,Z\right)$ 在物质世界投影到图像平面上 $\left(x,y\right)$ 位置与以下方程:

在哪里f是焦距。

点集映射的关系从一个图像平面上一组点到另一个图像平面称为射影变换。平面单应性是一个平面的投影映射到另一个地方。根据哈特利Zisserman (哈特利Zisserman, 2003),射影变换的定义是“平面射影变换是一种线性变换在均匀3个向量表示为一个3×3的矩阵是非奇异。”

或简言之, $x^{\prime }=H。x$ ,在那里H单应性矩阵。这个单应性矩阵与一个点的位置从一个源图像平面(图像平面1图1一个)到目的地图像平面(图片2图1一个)。 $(x_1^{\prime }。x_2^{\prime },x_3^{\prime })T$ 是单点的坐标两图像平面。同时,H是一个齐次矩阵,这意味着只有矩阵元素的比例是很重要的。有八个独立的比率H( $h_{33}$ 是一个比例因子),这意味着一个射影变换有八个自由度(哈特利Zisserman, 2003)。

让我们考虑两个非匹配点 $\left(x,y\right)$ 和 $\left(x^{\prime },y^{\prime }\right)$ 分别在图像平面1和2。我们正在考虑非齐次坐标,因为他们可以测量直接从图像平面(像素点的坐标)。从7.3情商。:

后重新安排:

4分每屏将创建八线性方程,和这四个点是充分的解决H两个图像之间的飞机。如果只使用4个点,那么唯一的条件是不共线的三个点(哈特利Zisserman, 2003)。如果使用超过4分,然后没有 $\left(n-1\right)$ 点可共线的,n是点的总数。后H矩阵计算,然后应用到整个屏1转换成图像平面2。

重要讲话:

1。不需要摄像机内参数或姿势来计算H。

2。如果只用于计算四分H异常值,那么可以创建错误H矩阵。

3所示。包括更多的点和使用一个健壮的方法来减少reprojection错误将有助于计算正确H矩阵。

3.1单应性矩阵的计算

我们已经建立了,不需要相机或构成参数计算单应性矩阵,H。因此,遵循以下步骤进行计算H:

1。放置一个印刷棋盘模式在镜头前(图1 b)。

2。测量每个相机的像素棋盘角落的位置(图2和图3)。

3所示。计算reprojection误差平方欧氏距离的总和H*相机2棋盘角点和相机1棋盘角点。

4所示。使用一个优化算法来最小化reprojection为一个特定的错误H矩阵。

我们已经测试了四种不同的优化算法H矩阵的计算。我们的目标是找到一个H矩阵,减少了reprojection错误。最小均方最小均方距离棋盘角点的两个图像平面。RANSAC是一个迭代的方法,试图找到正确的角点和消除异常角点。PROSAC加权RANSAC方法,更快的许多局外人。至少值平方距离的平方值最小,比最小均方更健壮的异常值。然后我们计算实际之间的投影误差棋盘角位置和预计棋盘角落的位置。计算误差是多少每个角落点偏离实际的角位置的像素。研究的结果发表在表1。一旦H矩阵计算,这将保持不变,只要相机位置都是常数。作为表1所示,最小均方和平均平方导致最小reprojection错误。的H矩阵计算

图4显示了如何H矩阵是用来reproject照相机2视图到相机1视图。左边的图片图4是实际的左相机视图(图2)乘以H哪些项目左相机视图到右相机视图。

4 CNN-Based杂草检测

在这项研究中,我们考虑一个VGG16-based (Simonyan Zisserman, 2014)模型架构与转移学习。该模型使用小杂草数据集重新训练,和最后一层排列分类三个不同的杂草。转移学习通过的最后一层VGG16模型分类新对象从一个新的数据集通过使用大量的功能已经从ImageNet数据库。先前的研究(Karpathy et al ., 2014;莫汉蒂et al ., 2016)表明,转移学习计算需求远低于从头学习,可以应用于各种类型的分类。所有的训练模拟运行英特尔酷睿i7, 8 gb ram, Nvidia GTX 1060 6 gb工作站。模型是建立在TensorFlow Keras库的后端Python3.5。

常见的图像苍耳子、世界性和巨头豚草捕获数据集生成一个杂草。这三种类型的常见杂草IUPUI温室中种植玉米以收集图片。同时,图像捕获从实际的玉米田。最大输入图像大小在这项研究中的应用是150 - 150像素(CNN网络的输入维数)。

4.1与VGG16转移学习

VGG16 16层CNN,引入了多个小内核的概念过滤器。训练ImageNet数据集从2012年开始,它能够分类1000类。VGG16的前5名的错误率为7.4% (Simonyan Zisserman, 2014)。本研究实现的模型参数包括学习速率(1 e-05)优化器(亚当),和损失(稀疏分类叉)。

现在,我们适合探测器的分类器BB。我们应该提到我们只是合适的探测器,和我们不训练检测器获得更好的性能。首先,创建一个图像金字塔来应对不同规模的因素。原因是在不同尺度的检测对象。随着图像金字塔的增长更大,它将有助于检测更大的对象。然后我们运行一个滑动窗口在每个尺度的金字塔。滑动窗口的大小应该是依靠检测对象的大小。在每个滑动窗口的位置,我们通过它通过CNN分类器并保存类标签 $\text{\%}$ 准确性。基本上,我们创建一个很多边界框类标签的准确性和拯救他们的位置。然后我们所有的BBs穿过一个名为non-maximum抑制(NMS)的算法。NMS BB,然后计算与其他BBs借据。如果借据值在预先确定的阈值,那么BB被丢弃,否则,BB。基本上,NMS试图找出哪一个是独特的BB。这些步骤的标准和接近SSD遵循的步骤(刘et al ., 2016),但是没有培训。

从分类报告表2,我们可以说,苍耳子显示了近乎完美的回忆。藜是最难的一个分类的CNN模型显示只有0.89召回。推理时间是一个重要的参数实时视频的分类。这个推理时间(没有GPU加速)似乎是足够的(大约4帧每秒(FPS))为我们的测试用例。GPU加速(Nvidia GTX 1060 Ti),这个模型执行在30 FPS。

4.2借据重叠计算

现在我们已经的BB探测器,我们要计算的借据值左和右相机BBs。我们希望看到借据价值如何变化前后reprojection杂草时检测到正确地创建和BB。我们也想看看借据值改变时杂草在不同距离摄像机检测到。

图5显示了BBs两摄像机在不同距离互相重叠。“太远”是36英寸远离相机,和“太近”是8英寸远离相机。BB摄像机的大小是固定的。我们还假设完美的检测。随着杂草靠近摄像头,我们可以看到,BB重叠在减少,而“太近”位置,没有reprojection, BB重叠是零。reprojection(左相机图像reprojected使用H),BB重叠仍然减少杂草走近了相机。从一个相机像平面单应性是2 d转换到另一个摄像机图像平面。但我们检测的对象(杂草)实际上是3 d的。因此,当我们接近相机,BB重叠减少因为3 d对象的投影到二维平面偏离。如果我们检测的对象是2 d reprojection之后,BB重叠将仍然或多或少是相同的。

图6显示了借据值改变时杂草距离(BB)的位置变化。作为一个例子,“关闭”位置和完美的检测,借据重叠两个摄像头应该是15%。借据重叠后reprojection总是大于reprojection之前。当我们移动更远,两个不同的系统减少之间的区别。在实际的场景中,CNN探测器将创建一个BB基于对象的大小或形状,他们将根据场景不同。但是在这项研究中,我们让BB大小不变(BB宽度:500像素,高度:350像素)。但在未来,不同的BB大小可以被认为是,借据值应该为一系列BB计算大小。

5模糊基于逻辑的融合

模糊逻辑是Lotfi德发明的(德,1965)通过结合脆逻辑和集合论。在现实中,许多概念是定义为人类的话比数学。德试图捕捉人类语言和数学之间的联系。枝模糊集用来捕捉这种关系。如果有成员不确定性数据对于那些属于一组特定的数据,模糊集用于定义这些数据一组部分:举个例子,如果使用模糊集定义的边界框位置杂草,可以被定义为“太近”,“关闭”,“,”或“太远”;信心的融合边界框为“低”,“好吧,”和“高。“隶属度量化这些数据属于水平集。作为一个例子,在边界框的情况下距离摄像机中心:

在哪里 ${米}_{d我\mathrm{年代}t\mathrm{一个}nce}\left(y\right)$ 是隶属程度y在模糊集的距离在相机视图和y是垂直距离相机视图的像素值。图7显示了这一点。

隶属函数表示不同程度的模糊集合中的元素之间的力量。如果可能是更高一个元素属于某个集合,然后加入强度也更高。会员的零意味着元素不属于集,和成员的力量意味着绝对属于这个集合的元素。在这项研究中,使用模糊集定义边界框的距离,借据重叠,和信心的边界框的位置。

隶属函数的设计是基于个人经验和知识的结合,我们获得的相机设置测试。在图7 a, B的隶属函数的左、右摄像机边界框的位置,分别。杂草是放置在四个不同的距离在镜头面前,如图所示图5。选择模糊的名字是基于他们的位置(“太远”,“,”等)。选择三角形隶属度函数来表示他们的力量。作为一个例子,图7“太远”位置,BB距离最大隶属程度(一)在150位置(像素),这意味着当杂草被放置在“太远”产生的位置和最好的BB是CNN探测器,BB坐标中心(垂直距离)被发现在150像素的相机视图的位置。在图7 c借据的隶属函数重叠。这是来自图6。作为一个例子,“关闭”位置,借据的重叠值图6是15%,这意味着当杂草被放置在“关闭”位置和BB创建从CNN探测器,完美的检测(最好适合BB的杂草),借据重叠值将是15%。重叠值会有所不同,如果它不是一个完美的检测在这个位置。高斯隶属函数是用来表示。图7 d隶属函数显示了信心。如果BB距离和借据重叠值完全匹配,那么他们将有“高”的信心和基于他们的偏离理想状态和模糊规则集,它们可以“ok”或“低”。

5.1模糊步骤和规则集

整个模糊系统的输入,规则评估和去模糊化(输出)提出了图8。遵循以下步骤的应用模糊分析:

1。识别输入范围和名称:在这项研究中,杂草的子集距离和借据重叠太近,近,离得太远,太远了。

2。识别输出范围和名称:在这项研究中,信心很低的子集,好的,和高。

3所示。创建一个程度的输入和输出的模糊隶属函数:图7显示了这一点。

4所示。构建基于专家系统的规则库的判断:规则创建一个语言输入变量和输出之间的关系。在一个模糊“如果. .THEN” rule, the IF part is the premise and the THEN part is the output based on premise. The rules can be combined with logical “OR” or logical “AND.” Here, the three input variables are the following: RightCam BB (right camera BB distance), LeftCam BB (left camera BB distance, and IOU overlap, and the output variable is Confidence. The generic conditional statement used in this study is as follows:

在哪里 $我\ne j$ ; $我,j$ 是摄像头的数量;(n)、B (n)和C (n)太近,接近,远,太远;和D (n)很低,和高。二十模糊规则设计优化的输出和输入之间的关系。关于这个问题所有规则无效。一些规则可能不会引发基于BB位置和借据重叠值。所有规则给出相同重量的一个。最终的输出,信心,是联盟的输出模糊子集激活规则。在本研究中,Mamdani (Mamdani 1974)使用推理。提出了所有的规则表3。

5。去模糊化:重心去模糊化方法用于这项研究(罗斯et al ., 2004)。

6的结果

三个场景创建和测试检查模糊系统的性能。在以下场景中,我们假定CNN检测器检测BB内的杂草有100%的准确度,整个两摄像机杂草是可见的,并且没有阻塞。

场景1:6.1高的信心

杂草在位置选择“太近”测试系统的性能。图9显示所有的台阶模糊信心分数测量系统。“高信心”情况下,CNN检测器检测到正确的杂草。BB覆盖整个杂草的相机,和杂草通常在BB的中心。作为三个输入,我们测量垂直中心距相机和BB的借据重叠得分。三输入模糊规则集。为一个特定的杂草的位置在3 d世界中,如果杂草正确检测到两个相机,那么他们应该有一个特定的借据重叠值。因此,所有这些输入触发模糊规则四( $R_4$ 在表3)。在此之前的第一个规则高的信心。去模糊化后,我们收到88.6%的信心得分。模糊系统给信心高分数,因为杂草检测到正确的相机。一个重要的事情是因为我们使用的是高斯隶属函数和重心去模糊化,高信心得分总是提供一个值70至100%而不是100%,即使检测符合所有的标准(规定)完美的检测。

6.2场景2:好的信心

杂草在位置选择“太近”测试系统的性能。图10显示所有的台阶模糊信心得分测量系统“好的信心”的情况。这里,正确的相机检测到正确的杂草,但左相机检测部分是正确的和检测杂草略左位置比实际位置。然而,BB中心垂直距离为左、右摄像机是正确的和与“高信心”的情况。但是因为左相机检测部分正确的位置,这个背离借据的重叠值和触发器规则20 ( $R_{20.}$ 在表3)。因此,模糊系统给它50%的信心得分是一个合理的价值部分的检测。

6.3场景3:信心不足

杂草在位置选择“太近”测试系统的性能。图11显示所有的台阶模糊信心得分测量系统为“信心不足”的情况。这里,正确合适的相机检测到杂草,但左相机检测不到部分正确,检测杂草在更高的位置比实际位置。因此,BB中心垂直距离不是比得上“高信心”的情况。这会触发规则15 ( $R_{15}$ 在表3)。结果,模糊系统给它10.8%的信心得分给出一个合理的值小于部分检测。

这种模糊的一个限制信心测量系统本质上这是假定的一个摄像头检测是正确的。但如果他们都是不正确的,那么这个系统可能产生一个小于理想信心得分。有两种方法可以解决这个限制。视频输入,首先,我们可以把每个BB的跟踪算法。如果一个BB位置偏离超过一个阈值或超过前面的位置,然后不遵循这一趋势,我们可以丢弃帧或丢弃,BB从模糊系统产生更好的结果。第二,我们可以把两个多相机系统。然后我们可以计算出证据距离(在本例中BB位置)为每一个相机,然后丢弃或给低体重的BB偏离了正常的常态。如果我们把这些模糊系统,然后系统变得更加复杂,失去了模糊系统的固有的优点是容易解释。如果超过两个摄像头使用,那么建议使用不均匀摄像机的数量(数量(2 n + 1)的相机,在哪里 $n=\mathrm{1、2、3},\dots$ )。作为一个例子,如果使用了5个摄像头,然后H矩阵计算reproject其他四个摄像头的飞机到中心平面。应该调整借据重叠值基于新的测试用例。基本配置(图8)将会改变。输入将“LeftCam-1-y”、“LeftCam-2-y”,“CenterCam-y”,“RightCam-2-y,”和“RightCam-1-y, IOU-overlap。“但是模糊规则的数目会增加越来越多的相机。

7结论

在这个研究中,我们开发和利用模糊基于逻辑的融合算法来计算BB的信心得分位置和借据重叠从multi-camera-based CNN获得对象探测器。首先,CNN-based对象探测器是用来检测前的杂草在多个位置多幅相机设置。然后一个射影变换用于项目一个相机的图像到另一个摄像机的图像平面。然后我们计算了借据不同位置的重叠值在每个完美的检测的杂草。当使用多个摄像头检测物体时,BB摄像机图像平面上的位置可能会出现在不同的地方根据检测准确性和摄像机的位置。但在3 d空间中,对象是所有相机在同一位置。因此,借据重叠值之间的关系可以建立BBs和BBs摄像机图像平面上的位置。如果BB位置或借据重叠值偏离理想的条件,那么将显示一个较完美的检测。我们生成的模糊规则集使用此关系BB每个摄像头和借据重叠值的位置。提出的模糊系统测试对于三种不同的场景,这是理想的检测(高信心),不到理想的检测(信心),和错误的检测(低信心)。 The confidence score of the proposed fuzzy system for three different scenarios proved the hypothesis regarding a relationship between IOU overlap and BB position and offered a more robust overall multi-camera–based object detection system.

数据可用性声明

原始数据支持了本文的结论将由作者提供,没有过度的预订。

作者的贡献

马克:概念化的思想、方法、软件验证和原创作品。马:writing-review和编辑、可视化、监督和验证。山:writing-review和编辑、监督和项目管理。

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

引用