一种改进的自适应三角基于网格图像变形方法

介绍

图像拼接算法镶嵌两个或两个以上的图像到一个全景图像创建一个更大的图像有更广阔的观点是最古老和最广泛应用于计算机视觉Szeliski 2007;聂et al ., 2022;任et al ., 2022)。早些时候,估计两个图像之间的2 d转换的方法关注全球扭曲,包括相似,仿射和射影的(布朗和劳,2007年;陈和壮族,2016年)。因此,全球扭曲通常不够灵活等所有类型的场景low-alignment图像和视差的图像质量。此外,图像拼接的圣杯是无缝融合重叠的图像,即使在扭曲和视差的场景,提供一个全景图像看起来尽可能自然(萨拉戈萨et al ., 2013)。

而基于全球扭曲的图像缝合(朱et al ., 2001;布朗和劳,2007年;科夫et al ., 2007)可以取得良好的成果,它仍然存在局部变形和是反常的。全球扭曲估计全球转换和健壮但往往不够灵活。解决全球扭曲的模型问题,提出了许多当地的变形模型,如dual-homography扭曲(DHW) (高et al ., 2011),顺利不同仿射(上海广电)(林et al ., 2011)缝合,as-projective-as-possible (APAP即)角度出发来看待扭曲(SPW),等等。与全球扭曲,上面的方法采用多个本地参数扭曲为主(萨拉戈萨et al ., 2013;廖和李,2019年;李et al ., 2019;郭et al ., 2021),这是更灵活的比全球扭曲。DHW将图像划分为两部分:一个遥远的后平面和一个地平面,和它可以无缝缝合大多数场景。为了实现灵活性,林et al。(2011)顺利提出了一个不同的仿射缝合整个坐标系定义的领域,这是更好地为当地的变形和对齐。因此,它比传统的更宽容的视差全球单应性缝合。而不是采用最优全局变换,APAP即估计当地空间转换,以使每一个图像块准确。

本地参数方法使用空间不同的模型来表示图像不同区域的运动(高et al ., 2011;萨拉戈萨et al ., 2013;陈et al ., 2018)。全球方法相比,高自由度的运动使他们更灵活处理复杂的场景也让模型估计更困难(陈et al ., 2018;廖和李,2019年)提出了图像缝合两single-perspectives扭曲。第一个参数经结合dual-feature-based APAP即quasi-homography。第二个基于网格扭曲是实现图像拼接通过优化稀疏和二次总能量函数。灵感来自于刘et al。(2009),许多基于网格扭曲(李et al ., 2015;林et al ., 2016)已经提出,将源图像划分为一个统一的网格。

在廖和李(2019),缝合全景看起来尽可能自然当源图像有很多线;相反,缝合结果代表弯曲地区明显重影和不规则对象地区,如地上的曲线和橙色的袋子在蓝色和红色框图6。与此同时,图6说明了APAP即看起来比全局比对的结果,但仍可见重影出现在一些地区,如橙色包在蓝色的盒子照片。

解决上述问题与失真和缝图像重影,我们加强方法的网格,结合与APAP即扭曲。在这项研究中,我们提出一种改进的基于网格的图像拼接方法。优化四边形网格细胞,我们引入一个创新的三角网格的策略。网格顶点包括两个部分:APAP即顶点和匹配特性。APAP即顶点属于统一的顶点,可以保持APAP即算法的灵活性。因此,匹配特征点,是不均匀的,可以做一些工件在重叠区域。然后我们设计一个颜色约束项的能量函数,和全球定位词包括两个转换为网格顶点。顶点匹配功能可以减少重影重叠区域的功能项。最后,减少非重叠区域的变形,我们把我们的方法与APAP即经纱,给重量值通过计算顶点之间的距离和最近的匹配特征点到顶点。比较实验证明我们方法的对准精度高于APAP即扭曲。 In summary, our three contributions are as follows:

(1)我们引入一种改进的网格变形模型,包括两部分的顶点:非均匀和统一的顶点。然后,细胞在我们的方法是改变从四到三角形,这是一个小说网与传统方法不同。因此,结果表明,我们的模型使得一些工件在重叠区域。

(2)我们也设计一个新的变形函数,包括的数据项,全局比对项,和颜色平滑项。不像其他的扭曲,颜色平滑项可以限制重叠区域的平滑。

(3)我们给我们的方法相结合的新战略以APAP即经纱来获取它的灵活性。

我们比较我们的方法和先进的图像拼接方法,和比较实验表明,我们的方法优于其他方法在当地保留细节和一些工件在重叠区域。这个研究提高组织如下。第一节介绍。第二部分展示了图像缝合的相关工作。第三节详细介绍了图像拼接的方法。在第四节,和比较实验结果与其他算法。最后,第五节给出了本文的结论。

相关工作

图像拼接已广泛应用于计算机视觉和许多应用程序。本节将给出一个简短的发现图像缝合。

Multi-homography图像拼接的方法

一个全局单应性矩阵可用于表达之间的关系图像场景时大约在同一平面上。实际的场景通常与多个复杂的飞机;因此,采用全球单应性对齐图像重叠的地区通常不是足够灵活,能够提供高精度的定位。高et al。(2011)提出了dual-homography扭曲,将图像划分为两个部分:一个遥远的后平面和一个地平面,和它可以无缝缝合大多数场景。该方法可以提高对准精度,但对于复杂的场景与多个飞机,这种方法不正确将不同平面划分为一个结构,它将导致定位错误。因此,燕et al . (2017)提出了一个健壮的multi-homography图像合成方法。通过计算单应性不同于不同类型的特性,然后用高斯混合多个单应性权重构建全景。当现场是复杂的,有很多飞机,该方法基于对齐的简单的多个单应性是无效的。许多方法(陈和壮族,2016年;Medeiros et al ., 2016;郑et al ., 2019基于平面分割提供了一致的图像。郑et al。(2019)提出了一种新颖的projective-consistent plane-based图像拼接方法。根据当地的法向量方向的reprojection错误对齐图像,输入图像的重叠区域分为几个projection-uniform飞机。

基于网格变形的图像拼接

基于网格变形的图像拼接的主要观点(刘et al ., 2009;萨拉戈萨et al ., 2013;陈和壮族,2016年;陈et al ., 2018;廖和李,2019年)是网格图像,将图像的变形转换为网格的划分,然后对应的变形网格的变形图像。这种方法使绝大多数的匹配特征点对是完全一致的。这些方法实现图像拼接网格顶点,通过构造一个能量函数和不同的结果可以通过添加不同约束能量函数。刘et al。(2009)提出了一个content-preserving经纱(CPW)视频稳定。该方法将对齐图像划分为多个网格单元,然后构造一个能量函数的网格顶点组成的数据项,类似的转换项目,和全局比对项目和获得重绘顶点坐标通过最小化能量函数。网格的顶点坐标的特征点位于能量函数进行了优化,可以保护图像的重要区域的形状改变了在转换的过程中。萨拉戈萨et al。(2013)提出了一个移动的直接线性变换(DLT)方法来获得当地的单应性矩阵为每个网格单元。每个网格的方法添加一个权重值在计算当地的单应性矩阵。廖和李(2019)和贾庆林et al。(2021)提出了一种结合图像拼接方法点特性和线特征和全局共线结构引入能量函数来指定和平衡所需的字符图像缝合。

Seam-driven图像缝合

图像视差较大时,基于空间变换的图像拼接方法不再能获得准确的结果。对于这样大的视差图像拼接问题,更有效的方法是图像拼接方法基于缝合缝(高et al ., 2013;张、刘,2014年;林et al ., 2016;陈et al ., 2022)。高et al。(2013)提出了一个基于seam驱动的图像拼接方法,获得最终的单应性矩阵基于缝合缝的质量。张和刘(2014)提出了缝合缝附近的局部比对的方法使用数据来实现大型视差图像拼接和组合单应性变换content-preserving扭曲。实验结果表明他们的方法可以用大针图像视差。superpixel-based功能分组方法(林et al ., 2016)提出了优化初始对准的一代假设。只为了避免产生潜在的偏见当地单应性假设,假设集被结合不同的丰富superpixels生成额外的一致性假设。然后,对齐缝合接缝的质量评估的方法来实现最终的全景拼接。陈et al。(2022)提出了一种新颖的基于multi-homography扭曲模型和结构保存。单应性在不同深度区域被估计将匹配特性对划分为多个层。共线结构被添加到目标函数保持凸线结构。因此,最优的缝合缝搜索方法提出了基于缝合缝质量评估。

我们的方法

本节将详细介绍我们的图像拼接方法。首先介绍了传统的全球单应性模型pre-align参考和目标图像;约全球单应性获得帮助改进图像缝合在以后的部分。然后,我们介绍了三角网格变形,给总能量函数变形后三角网格顶点的坐标。最后,介绍了正则化参数平衡全局和局部顶点后变形;因此,最终结果可以自动调整输入图像。我们的方案主要步骤,如图所示图1。

射影变换的相似之处

给出一对匹配点p= (x y]^T和p′= [x′y′)^T在重叠的图像我和我′。单应性模型可以表示如下

在哪里$\tilde{p}$是p在齐次坐标,$\tilde{p}={\left(xy1\right]}^T$,${\tilde{p}}^{\prime }={\left(x^{\prime }{y}^{\prime }1\right]}^T$。H∈ℝ^3×3表示单应性矩阵和$\text{H}={\left(h_1{h}_2{h}_3\right]}^T$。在非齐次坐标,

两岸采取积方程(1),我们可以得到以下:

只有两排的3×9矩阵Equat9ion(3)是线性无关的,和我们${\mathrm{一个}}_{我}\in {ℝ}^{2\times 9}$方程(3)的前两行计算一组N i基准面的匹配点${\left\{p_{我}\right\}}_{我=1}^N\text{和}{\left\{p_{我}^{\prime }\right\}}_{我=1}^N$,我们可以获得h由以下

h与约束| | | | = 1,在矩阵$\text{一个}={\left({\mathrm{一个}}_1{\mathrm{一个}}_2\dots {\mathrm{一个}}_{我}\right]}^T$。考虑到估计H(重塑$\hat{\text{h}}$),使图像源图像的任意像素我扭曲到目标图像吗我由方程(1)′。因此,细节中可以找到林et al。(2015)。

三角网格变形

基于网格的图像拼接变形通常采用四边形网格,但经仍然可以减少失真匹配特征点的位置。因此,我们提出一个三角形网格单元,包括APAP即顶点和匹配特性。

数学的设置

激励的工作李et al。(2019),他们介绍了平面和球面三角战略和近似现场相邻三角形的组合方面。这启发我们,所以我们分区源图像到三角网的一系列细胞和匹配点和APAP即顶点的三角网格顶点。然后,triangulation-based局部比对算法提出了图像缝合,从而弥补弱点的四边形网格变形。

为了便于解释,我们把这两个图像缝合对作为一个例子,让我′,我,我表示参考图像,目标图像,最后一个扭曲的形象。我们将参考图像我′固定和扭曲的目标图像我。因此,图像的顶点我,我′,我被指示为V,V′,$\hat{V}$。

与传统的四边形网格变形扭曲,我们分区源目标图像我由德劳内三角为一系列三角形细胞(Edelsbrunner et al ., 1990)。对于每个单元格,三个顶点比四边形的四个顶点更稳定的细胞。使图像缝合扭曲更稳定,我们选择一系列APAP即顶点的三角形单元顶点并添加n-matched特征点作为顶点到原始的顶点。因此,目标图像分割成许多细胞,包括两个部分:APAP即顶点和匹配特性。图2演示了一个与250个顶点细胞经学会了一个图像对。

此外,在构建网格网格为目标图像我,在那里V_我,我的网格顶点位置(我,我)。目标图像由许多细胞有三个顶点,我们指数从1到n网格顶点;我们重塑所有顶点2 n维向量$V={\left(x_1{y}_1\dots x_n{y}_n\right]}^T$;然后,对应于目标图像的变形网格顶点顶点形成$\hat{V}={\left({\hat{x}}_1{ŷ}_1\cdots {\hat{x}}_n{ŷ}_n\right]}^T$。每个单元有四个顶点廖和李(2019),所以不同廖和李(2019),网格变形细胞中有三个顶点的方法。

在廖和李(2019),每一个特征点p可以用双线性插值的四个封闭网格顶点。因此,类似于廖和李(2019)任何特征点p在三角单元,可以表示为一个线性插值三角形顶点的v1, v2和v3。不同于双线性插值,重心坐标系统(Koecher和克里格,2007年)可以表示任何点在三角形单元。因此,特征点p可以描述如下:

在哪里w₁,w₂,w₃分别表示每个顶点的重量,重量越高,越接近关键是顶点,和w₁+w₂+w₃= 1。如果我们得到一个已知点在三角形内,获得的权重将解决一个二进制线性方程组。

假设权重是固定的,因此,相应的点p′,网格变形后也可以描述为$\phi (\hat{p})=w_1{\hat{v}}_1+w_2{\hat{v}}_2+w_3{\hat{v}}_3$。随后,对应点上的任何约束,在三角形可以表示为三个顶点对应的约束。

能量函数的定义

灵感来自content-preserving扭曲的研究刘et al。(2009),我们构建的总能量函数E包括以下三个部分:数据项,全局比对项,和颜色平滑项。

在哪里E_D表示数据项地址对齐问题,提高特征点对应,E_G是全球对齐,然后呢E_C地址颜色平滑问题,保护顶点的强度和周边地区。畸形的顶点$\hat{V}$由以上公式可以计算出,然后映射网格的变形图像的变形来获得最终的全景。上面的最小化问题很容易解决使用标准备件线性规划求解。我们使用纹理映射提取当我们得到最终的图像变形的顶点。权重ω_G在我们实现= 10。图3显示了不同ω的拼接结果_G。从理论上讲,较大的ω_G,更好的匹配特性的对齐缝合顶点位置的结果;蓝色的盒子里图3验证这一点。因此,ω_G太大,这意味着全局比对的重量太大。如红框所示图3,太多的重量数据项会影响其他地区的缝制效果。

答:数据项

数据项E_D定义是一样吗刘et al。(2009)。因此,特征点p在网格单元可以用三角形顶点的封闭网格单元。对齐p其匹配的位置p′变形后,我们定义数据项如下:

在哪里$\hat{V}$是未知坐标网格顶点的估计,ω_我,k是插值系数,由网状细胞,获得包含吗p_我在目标图像方程(5)和$p_{我}^{\prime }$参考图像中对应的特征点。

b .全局比对项

对齐网格顶点和避免不必要的移动从pre-warped顶点的位置,我们构造一个改善全球术语提供了一个良好的估计。我们重新定义全球E_G求和的L2范数之间的差异起源顶点及其变形。

在哪里$p_{我}^{\prime }$表示匹配的参考图像中特征点我′,H_apap即是当地的单应性萨拉戈萨et al。(2013)和j是细胞顶点索引。V和$\hat{V}$目标图像中对应的顶点的三角形细胞和它的变形。

c .颜色相似词

限制颜色模型的平滑连接相邻的地区,让这些选择强度保持关闭网格变形后,我们设计这个颜色相似的术语。假设图像重叠区域的点具有相同的强度。因此,我们可以获得强度之间的差值两个重叠的图像部分。

在哪里问表示特征点集,在重叠的图像区域。在这里,Ω表示连接相邻区域指向的位置$(\hat{x},ŷ)$及其相应的(x′,y′)。Ω9×9在我们的实验中。

联合优化

在我们获得这个三角网格顶点的扭曲版本上面的能量函数。重叠的图像区域在目标图像和参考图像可以缝好,和马赛克图像具有良好的性能。特征点有很好的匹配两只重叠的地区,如果我们只会扭曲能量函数的版本,缝合的结果可能会有不自然的视觉效果上的重叠区域。因此,我们更新最终扭曲顶点通过控制顶点的相对数量得到APAP即扭曲注入能量函数的方法得到的顶点在一个柔软的方式,可以适合进一步通过原点图像对。最后一个顶点可以表示如下:

在那里,${\tilde{V}}_{我}$是最后的三角形单元顶点变形后,V_我目标图像中的细胞顶点吗我,${\bar{V}}_{我}=H_{\mathrm{一个}p\mathrm{一个}p}{V}_{我}$,${\hat{V}}_{我}$由能量函数表示变形后的顶点。H_apap即可以找到的细节吗萨拉戈萨et al。(2013)为每个图像块,APAP即计算当地的单应性高精度局部比对,所以我们在本研究中使用每个单应性。c¹和c²是权重系数。我们也做c¹+c²= 1,c¹和c²是在0和1之间。他们是由以下方程:

在Dist(·)代表函数计算两点之间的距离,P的特征点序列吗p₁,p₂…,γ是一个可调参数,事实上,γ→1最短的距离当顶点之间的重量等于1和匹配的特征点是最大的。因此,V_我是第i个位置的位置在图像单元顶点。所示图4顶点时,从匹配的特征点附近的区域(重叠区域),content-preserving扭曲有很高的重量,以确保准确的定位。相反,APAP即扭曲高体重减少扭曲为顶点的重叠区域。因此,最后利用权重组合变形具有良好的性能。图5显示了比较的结果与APAP即全球单应性。

实验

来验证提出的图像拼接方法的有效性,我们测试方法通过主观和客观评估成对数据集。在本节中,我们说明了几个具有代表性的图像对拼接结果比较我们的变形图像缝合与几个先进的缝合方法。首先,我们展示一个对准精度的定量评价比较方法对先进的图像拼接方法,即APAP即,全球单应性,APAP即,AutoStich, SPW。第二,我们给出一个定量评价成对排列的图像拼接方法和一些先进的方法。基于网格的扭曲有良好的性能;因此,我们进行了一系列的测试。因此,实验参数比较纸也符合原来的纸。

在我们的实验中,我们使用VLFeat (Vedaldi Fulkerson, 2010)库中提取和匹配筛选(劳,2004)功能要点和运行RANSAC移除不匹配和匹配特征点贾庆林et al。(2016)。代码是在MATLAB中实现(一些在c++代码效率)和运行在桌面PC与英特尔i3 - 10100 3.6 GHz CPU和16 gb的RAM。然后,所有的图像对我们的测试是由作者的贡献李et al。(2017)。参数设置、γ= 0.8 APAP即顶点的数目设置为5×6,和顶点匹配特性设置为0.7 x匹配的特征点的总数。所示图3,如果ω_G太小的顶点变形变得严重,如果ω_G太大,那么该地区以外的顶点是严重扭曲的。因此,ω_G实验设置为10。实验参数的比较算法与原来的一致。

定性评价两两拼接

图6描述了图像缝合在临时图像对的结果。演示了一个全景的不同方法的结果,每一行的绿色和蓝色框区域放大视图的局部细节。我们可以看到,所有的结果有很好的性能。然而,我们的方法具有更好的性能在细节。全球单应性和AutoStitch不能使两幅图像使用全局2 d转换,除了拼接结果患了重影,如曲线在地上绿色矩形和橙色包中复制蓝色矩形放大。考虑到全球变换的局限性,APAP即方法显示了一个细缝所示结果图6 c;然而,细节在APAP即结果并不像我们的好方法,比较白的拱形标志数字6,C可以看到,我们的结果几乎没有工件。所示数字6,B,D橙色的袋子在蓝色矩形放大在我们的结果中几乎没有工件。SPW方法已经与几行图像中的一个弱点,细节见图6 e,有明显的偏差。对比上面的方法与我们的方法,减少“幽灵”几个工件。特别是,曲线在地上,墙上的白色拱形标志,蓝色和橙色袋子放大矩形几乎没有工件,如第一行所示图6,所以我们的方法最好的缝纫质量。更好的性能是由于我们的方法将严格约束添加到网格扭曲,结合与APAP即扭曲我们的方法。

全面展示了图像缝合方法的有效性,我们比较最后缝合的结果在不同的场景。所示图7从左到右,缝合结果塔,河岸,分别和戏剧。在河岸的结果,圆柱子失调AutoStitch方法所示。其他的缝合方法具有良好的性能在河岸上。然而,我们的方法显示了道路、电线,建筑在河岸上更清楚。所示塔,全球单应性方法显示了明显的“幽灵”,并为展览的差距不均匀图像扭曲。在SPW的结果,塔顶是重复的。因此,所有的结果引入明显的变形或重影,如示图7。至于现场剧院的差距为显示重影比其他方法因为SPW的作者把点和线的特征在基于网格变形。然后,基于重叠区域比我们的方法表现出更多的重影。一般来说,我们的方法显示更少的失真和重影的结果。

定量评价的一致性

量化方法的对准精度,计算结构相似度指数(SSIM) (王et al ., 2004)在重叠区域点作为评价标准。SSIM通常是用来描述不同的图像上的对准精度。定量结果所示表1,其中包括五个方法从七现场测试的数据。所示表1,我们的方法产量最高的相似度值五个场景,我们的方法是在最高价值在其他两个场景。我们的平均相似度值为0.9426,比SPW高出1.5%,比AutoStitch高出5.5%,比全球单应性,高3.3%,比APAP即高出1.8%。一个全面的视觉比较证明图6,7。我们的方法执行比所有其他的方法在保护当地的细节和artifact-free在重叠区域。

结论

我们提出了一种改进的自适应三角基于网格图像拼接方法。首先,在不牺牲定位的准确性,设置在非均匀网格图像提高对准精度。非均匀网格顶点包括均匀和不均匀,不均匀的顶点匹配特征点,提供良好的约束在重叠的领域,是一种新颖的方法。第二,改善变形构造函数获得畸形的顶点。颜色的平滑约束模型,我们引入了一个颜色相似的变形函数。最后,我们给出一个新的策略,结合我们的方法与APAP即经纱来获取它的灵活性。结合策略不仅吸收APAP即良好的对齐的优点,还可以自适应地调整其重量值。证明了该算法在不同的图像和与其他方法相比。实验结果表明,该图像拼接方法在本研究中可以实现更精确的全景拼接和更少的重叠失真,提高全景图像拼接的准确性。该方法具有精度比其他方法的改善。 The mean SSIM of the proposed method is 0.9426, which is 1.5% higher than SPW, 5.5% higher than AutoStitch, 3.3% higher than global homography, and 1.8% higher than APAP. For further work, we expect to apply this method to large parallax image stitching and image stitching with moving targets.

数据可用性声明

最初的贡献提出了研究中都包含在本文/辅料,可以针对相应的作者进一步询问。

作者的贡献

WT创建提供的改进模型和最初的想法,进行了实验,写了这篇文章。FJ以及XW提出一些有效的建议为提高文章的结构。所有作者的文章和批准提交的版本。

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

引用