修改SSR-NET:浅卷积神经网络有效的高光谱图像超分辨率

1介绍

高光谱图像超分辨率是一个快速发展的研究领域在计算机视觉中,特别是由于高分辨率高光谱数据采集的技术难题与高空间和光谱分辨率。不同于传统摄像头捕捉图像和三个光谱波段(RGB),高光谱成像系统捕获数以百计的不同波长的光谱波段。由于信息的显著增加,高光谱图像(HSI)提供对RGB图像,他们被认为是有利于许多计算机视觉任务,特别是在情况下三个通道的RGB图像并不足以识别和区分对象和材料(Segl et al ., 2003;汗et al ., 2018;卡瓦利,2021)。高光谱成像广泛应用于抗欺骗等领域(Kaichi Ozasa, 2021)、食品质量与安全评估(风和太阳,2012年)、医学诊断(范,2020)、精准农业(拉希et al ., 2007)。此外,为了获取更多的信息,一些方法应用HSI超分辨率(SR)作为预处理步骤对其他计算机视觉任务,比如dehazing (Makarau et al ., 2014;氮化镓et al ., 2016;梅塔et al ., 2020,2021年)和目标检测(范教授et al ., 2019;燕et al ., 2021)。

不幸的是,高光谱成像系统主要关注字幕高光谱分辨率由于硬件的限制,影响空间分辨率。相反,多光谱相机获取的多光谱图像与空间分辨率远高于HSI (MSI)相机。因此,最实用的方法来获取高分辨率成像的空间和光谱域融合这两种类型的输入,人力资源MSI和LR恒生指数,利用空间信息的输入,和第二输入光谱波段之间的相关性。有两种特殊情况的高光谱图像超分辨率时只有一个输入(HR MSI或LR HSI)。

摘要小说两个输入融合HSI SR法的修改提出了基线法,SSR-NET (张x et al ., 2021)架构,这是一个最先进的HSI SR网络。改善spatio-spectral这个基准方法的特征提取能力,同时保持网络浅,加上长时间运行和短跳过连接和两个回旋的块。结果,该方法、修改SSR-NET (MSSR-NET),优于基线SSR-NET和其他先进的定量和定性的方法。我们证明我们的网络的效率和鲁棒性培训和测试不同类型的输入数据的形成。

在HSI超分辨率也许最大的问题是缺乏实际的输入和输出数据对,训练一个神经网络所必需的。几乎是不可能捕捉到一模一样的场景在两个不同的空间和光谱分辨率(陈et al ., 2015;锅,沈2019;周et al ., 2020)。标准的方法来克服这个形象共同注册问题是生成口口相传人力资源MSI和LR HSI直接从人力资源。这种方法的缺点是这个模型对现实的不匹配,因此,即使是最先进的方法的不可预知的行为在现实生活中的应用。另一个问题是缺乏高光谱数据由于收购困难。只有少数公共数据集可用于训练和测试HSI SR方法主要是只包含一个大的形象。能够应用该方法在真实的场景中,我们训练和评估不同的输入数据生成方法。

总而言之,这项工作的主要贡献是:

1。小说快CNN提出的修改SSR-NET高光谱图像超分辨率。它有一个简单的架构和类似或更小的模型尺寸与最先进的方法。

2。为不同类型的输入数据形成,该方法有更好的重建质量可视化和数值与SSR-NET和其他先进的方法。

3所示。提出网络已修改,培训工作也与输入数据:人力资源MSI或LR溪。是表明人力资源MSI输入数据,重建精度在某些情况下非常接近的精度达到两个输入场景。

剩下的纸是组织如下:第二节提供了正式的HSI SR及其子任务的定义,总结了他们每个人的主要方法,详细描述了基线SSR-NET和提出方法。遥感数据集上的实验在第3节描述。最后,在第四部分给出了结论。

2材料和方法

2.1问题公式化

让 $Z\in {\mathbb{R}}^{H\times W\times l}$ 是一个人力资源目标HSI融合LR HSI需要恢复 $X\in {\mathbb{R}}^{h\times w\times l}(h\ll H,w\ll W)$ 和人力资源MSI $Y\in {\mathbb{R}}^{H\times W\times l}(l\ll l)$ ,在那里H,W和l表示高度、宽度和数量的乐队光谱立方体HR恒生指数,分别。相应地,h和wLR HSI空间维度的,l人力资源部MSI谱带的数量。

简单的数学公式,重塑版本(模式3展开矩阵)Z,X和Y将表示为 $\mathcal{Z}\in {\mathbb{R}}^{HW\times l}$ , $\mathcal{X}\in {\mathbb{R}}^{hw\times l}$ , $\mathcal{Y}\in {\mathbb{R}}^{HW\times l}$ 。建模基于融合的超分辨率的观测是由以下方程:

在哪里 $D\in {\mathbb{R}}^{HW\times hw}$ 是将采样算子在空间维度通过downsampling人力资源获得LR溪溪,然后呢 $C\in {\mathbb{R}}^{l\times l}$ 相机光谱响应函数映射吗l光谱通道进入l频道。

的重建Z从这些观察是超分辨率(SR)的问题。HSI SR方法可以分为以下几类,对应于三个案例空间域的超分辨率(只有1情商。使用),在光谱域(只有吗情商1 b。使用),在这两个空间和谱域(Eq。1的观测是利用):

1。HSI-from-MSI光谱重建,重建的目标从给定的MSI,恒生指数,特别是,可以是一个RGB图像。在HSI空间分辨率和MSI是相同的,和渠道的数量在输出恒生指数大于MSI,即。,生成HSI维度H×W×l从MSI维度H×W×l,在那里l≪l。

2。HR-from-LR HSI超分辨率,目标是产生一个人力资源从给定的LR溪溪。这里的空间分辨率的增加,而渠道的数量保持不变,即,生成HSI维度H×W×l从LR HSI维度h×w×l,在那里h≪H,w≪W。

3所示。Fusion-based超分辨率,目的在于估计人力资源溪从两个输入:人力资源MSI和LR溪。在这里,最后HSI应当具有相同的空间分辨率随着人力资源MSI和相同数量的光谱波段LR HSI(渠道)。因此,恒生指数的目标超分辨率恢复HR HSI维度H×W×l通过融合LR HSI维度h×w×l(h≪H,w≪W)和人力资源MSI维度H×W×l(l≪l)。

2.2相关工作

有三个主要方法HSI SR: bayesian-based (Bungert et al ., 2017;Chang et al ., 2020;维拉拉et al ., 2021),tensor-based (高et al ., 2021;彭et al ., 2021;雪et al ., 2021),该矩阵(刘j . et al ., 2020;Borsoi et al ., 2020;李x et al ., 2021)方法。这些基于模型方法的缺点是手工先验和推理作为他们主要使用乘数算法优化交替方向方法。上优于方法比传统方法更好的空间信息提取,特别是在复杂的场景中。

由于强大的特征提取能力,深度学习方法占据了绝大多数的最新最先进的方法。他们中的大多数属于监督学习。基于一些学习方法试图提取spatio-spectral特性,与空间信息同时光谱波段之间的相关性,利用3 d曲线玲珑(梅et al ., 2017;李et al ., 2020;傅et al ., 2021;李et al ., 2021 b,d)。这种方法主要用于特征提取的输入LR上学。这种方法的缺点是计算复杂性导致大型模型大小和重建时间长。有些是混合框架,即。,the network tries to learn parameters of a model-based method (滇et al ., 2021;维拉拉et al ., 2021;马et al ., 2022)。他们主要使用乘数的交替方向方法算法来估计系数,从而导致缓慢的性能。

然而,由于数据不足的问题,也存在semi-supervised感兴趣(李k . et al ., 2021)和无监督(瞿et al ., 2018;Fubara et al ., 2020;张l . et al ., 2021;郑et al ., 2021学习方法。一些近期作品试图解决图像共同注册(口口相传的问题王et al ., 2019;周et al ., 2020;瞿et al ., 2022)。

2.3基本方法:SSR-NET

基于基准方法,我们选择了学习方法,空间谱重建网络(SSR-NET) (张x et al ., 2021浅CNN-based之间),这是最先进的方法开发的遥感数据集。在模型参数的数量和测试速度,SSR-NET优于其他先进的方法。SSR-NET包含三个主要部分:cross-mode消息插入(CMMI)网络空间重建网络(SpatRN)和光谱重建网络(SpecRN)。

每个networks-building SSR-NET块,包括一个标准的3×3卷积层和ReLU激活函数,对于SpatRN SpecRN, skip-connections应用。SpatRN的架构和SpecRN是相似的,他们只有不同sub-network-specific损失函数。

CMMI块的目标是生成一个所谓hypermultiple光谱图像(HMSI)包含LR HSI和HR MSI的基本信息。为此,它首先生成的初步融合版本通过pre-fixed乐队的所有已知的值,然后其他的乐队需要值通过应用upsampling LR溪。应用卷积后,获得hypermultiple光谱图像经过下一个块,SpatRN SpecRN,分别使用空间和光谱边缘损失。整体损失函数是一笔三个损失:空间边缘损失,光谱优势丧失和融合的损失。空间边缘损失之间的均方误差的加权和真实边缘的地图和初始super-resolved溪,这是SpatRN的输出,对水平和垂直方向。光谱边缘损失之间的均方误差计算的真实边缘地图和边缘地图的输出SpecRN,沿着光谱维度。融合损失计算均方误差重构和真实之间的上学。

LR的输入数据是由一个双线性将采样操作从人力资源溪,这是提前模糊高斯滤波器。获得人力资源MSI由人力资源调查,抽样间隔相等的乐队

2.4方法:MSSR-NET

因为它是SSR-NET中提到的论文(张x et al ., 2021),重建复杂空间信息的网络容量减少和增加场景的复杂性。这个限制是网络背后的原因是非常浅的结构。为了克服上述问题,我们提出一个与一个更强大的网络特征提取能力,缓解这些问题。

我们建议网络可以被视为一个修改SSR-NET。基线架构的主要贡献如下:1)长时间运行和短skip-connections重用hypermultiple卷积特性图,和2)两个额外conv + ReLU块。前的首次应用卷积LR HSI hypermultiple光谱图像构造块,和第二个块。背后的直觉这两个额外的运算是加强特征提取能力,这是一个主要的缺点SSR-NET由于其浅结构。我们添加了那些块空间重建部分原因是空间上下文是更复杂的比光谱。MSSR-NET被描述的结构图1,蓝色块和箭头表示我们的修改。

我们考虑两种不同的数据模型形成人力资源MSI(类型1和类型2)所示图2。在1型,我们应用中使用的数据形成策略张x et al。(2021)。在这种情况下,人力资源MSI是由直接抽样5光谱波段位于相同间隔的GT HR溪没有任何修改的频谱。结果,5光谱波段的真实数据是直接参与培训和测试。2型,对应于IKONOS传感器的光谱响应函数应用于GT HR HSI获得人力资源MSI和四个光谱通道,因此真实的光谱波段数据平滑根据传感器的光谱性质。

此外,讨论了单输入场景,以及每个输入组件的影响将在下一节中所示。具体来说,实验表明,评价指标的分数稍微改变当我们去除LR溪作为输入。特别是,PSNR值之间的差异在两个输入和单一的人力资源MSI小于1分贝在帕维亚大学数据集的方法。

3的结果

3.1实验装置

遥感数据集上进行实验,每一个都包含一个图像。表1提供更详细的数据集用于实验。SSR-NET train-test分裂策略后,中央补丁128×128是检验在博茨瓦纳剪裁,帕维亚中心,帕维亚大学,城市的数据集,其余的用于训练。像印度松树包含一个小的高光谱图像,中央64×64的补丁将用于测试。人力资源MSI和LR HSI的输入,产生的真实(GT)人力资源。SSR-NET形象形成战略后,生成的输入LR溪双线性GT HR溪将采样操作,提前模糊的5×5高斯滤波器与标准偏差2在空间域。

四个评价指标用于定量比较:峰值信噪比(PSNR),误差相对整体Adimensionnelle de综合(ERGAS) (托马斯和瓦尔德,2006年)和光谱角制图者(SAM)。

3.2 HSI SR实验两种不同模型的人力资源MSI数据

3.2.1实验1型数据的形成

这里有五个光谱波段在相等的时间间隔没有任何修改。从表2一个基线可以看到改进方法在博茨瓦纳的情况下的数据集在PSNR 4×4 dB空间downsampling虽然网络类似的模型尺寸。SSR-NET提到过,因为很浅的网络的结构,很难重建统一的场景,以及更复杂的架构。博茨瓦纳数据集有一个相对更复杂的结构与其他遥感数据集相比,SSR-NET导致较低的PSNR值。ResTFNet的结果(刘x et al ., 2020)是关于1 dB不到我们的,但也有一个更深层次的结构。我们的网络包括五个卷积层,虽然ResTFNet四倍层。SSFCNN非常不稳定的行为在一些数据集。具体来说,相对应的psnr SSFCNN (汉et al ., 2018),帕维亚大学数据值从30 - 42 dB。此外,空间将采样率越高,更高的PSNR值。可能的原因是不合适的LR HSI数据的利用率。图3展示了GT之间的差异图像HSI和每个网络的输出三个光谱波段选择。特别是来自不同图像可以看出MSSR-NET明显优于SSR-NET和SSFCNN的结果。靠近边缘的错误是清晰可见。ResTFNet的结果和MSSR-NET接近,很难看出区别他们的不同图像。

表3显示,帕维亚大学数据集,一个相对简单的背景下,浅的功能网络可以足够良好的重建质量。由于这一属性,我们的方法的结果略优于基准方法。

从表4可以看出基线之间的区别,我们的方法是大约3.6 dB的PSNR印度松树数据集。图4说明了输出及其相应的不同图像三个光谱通道。图显示的输出SSFCNN, ResTFNet和SSR-NET模糊而输出恒生指数的方法。对应不同地图验证了我们的方法要优于其他方法。

帕维亚实验中心(表5)和城市(表6)数据集也确认MSSR-NET相比具有更好的价值评价指标。

3.2.2实验2型数据的形成

帕维亚大学对这些实验数据集,它包含一个单一的巨大形象有610,103×340的空间分辨率和光谱。LR HSI代部分仍然是一样的张x et al。(2021):人力资源HSI模糊与标准差5×5高斯滤波器2,和LR HSI空间将采样得到的模糊人力资源的双线性插值的一个因素4、8、16、32。

可以看出表7,我们建议的方法的优势在SSR-NET变得更重要比基于模型观察1型。差异可以很容易地从图片见喷气colormap的区别图5。较轻的颜色,更大的区别。从差分图像对应SSR-NET的输出,图5 d,特别是在边缘附近可以看到,不同的是更大的相比之下,我们的方法。类似的观察可以ResTFNet和SSFCNN。

此外,值得一提的是,相比之下,结果对应于第一个数据形成策略(表3),基线方法的PSNR下降5分贝。因此,基线方法不能够重建稍微修改人力资源MSI以及真实的情况修改的谱带。与基线的方法不同,我们的方法可以重建恒生指数几乎相同的质量数据形成情况。32×空间和25×光谱downsampling基线方法之间的差异,我们是4.7 dB。

表8显示了一个比较模型的大小,推理时间和失败(大约两倍的multiply-accumulate操作(Mac))对应于每个方法。测量完成城市数据集测试图像使用NVIDIA GeForce 3090 RTX GPU。的失败MSSR-NET比SSR-NET失败的1.6倍。

此外,调查比较鲁棒性SSR-NET和MSSR-NET噪音对我们训练人力资源MSI与无噪声数据和嘈杂的LR HSI加性高斯噪声。人力资源生成MSI通过四个基于1型数据的谱带的形成,和加性高斯噪声σ= 100标准偏差被添加到LR溪。从表9可以看出MSSR-NET抗噪声比基线SSR-NET, PSNR值对应于MSSR-NET却降低了约1.5 dB当我们考虑一个嘈杂的情况下,与此同时,这一差距SSR-NET超过4 dB。但总的来说,甚至对于这种高σ,PSNR值仍然很高。这种行为的原因可以解释为光谱波段之间的相关性高于每个光谱波段内的空间相关性。像上面提到的,网络主要依赖于输入人力资源MSI,甚至将采样的第二个输入(LR HSI) 32倍并不影响的结果。

3.3 HSI SR单输入数据

从上述表可以看到,将采样率的变化在空间域并不影响结果。因此下一个步骤,讨论了单个输入情况下找出每个输入组件的影响。为此,我们喂养到网络只有一个输入,LR溪或HR MSI。

首先,我们给空间downsampled形象,LR溪,将采样率不同。可以看到通过比较表8和10,即使在4×将采样的情况下,PSNR下降大约10 dB当我们删除输入人力资源MSI和只留下LR溪。从表10一个可以看到结果与单一输入LR HSI导致劣质的所有方法的结果,即输入信息是不够的,良好的重建。

其次,让人力资源MSI,由2型,通过网络反馈。通过比较两个输入情况下的结果(表8行)表10对应于一个单一的人力资源MSI输入,我们可以看到,评价指标的分数非常接近。所以,网络主要可以从人力资源MSI和喂养LR HSI网络仅略有改善的结果。专门为MSSR-NET,两个输入的影响通过一个人力资源MSI输入案件小于1分贝在PSNR值方面,也可以看到通过比较输出所示图5和6。

可能原因高精度性能的方法用一个输入数据,人力资源MSI,是一个光谱通道之间高度相关,所以即使四个高分辨率光谱波段足以重建103乐队非常高的质量。空间域的相关性更弱,所以空间质量是更重要的学习过程。

3.4烧蚀研究

烧蚀实验是做展示MSSR-NET建筑的每个组件的影响。实验中我们看到,将卷积层添加到光谱重建块不提供任何改进,所以我们更改前的光谱重建块。一个空间重建块允许更好的特征提取和修改表11可以看出,它会导致基线方法改进。第一列中使用的符号表11是:每个除了意味着我们只添加这部分基线网络排除他人,例如,“第一conv”表示卷积层+ ReLU应用于LR HSI CMMI块之前,“兴起conv”是卷积+ ReLU层CMMI块和SpatRN之间。

4讨论

本文提出了浅卷积神经网络方法融合LR HSI和HR MSI溪老基于SSR-NET我们提出MSSR-NET浅的结构、小模型大小和推理时间短。MSSR-NET演示了一个本质上更好的性能,因为一个更强大的特征提取能力。定量和定性比较证明MSSR-NET不同遥感的优越性。实验用不同的数据形成策略表明,MSSR-NET更健壮的对不同类型的数据结构比其他先进的方法。专门为博茨瓦纳和印度松树数据集之间的差异PSNR值对应于基线SSR-NET MSSR-NET超过3 dB的1型数据的形成。这一差距大约是4 dB帕维亚大学2型数据的数据集的形成。此外,由于将采样率的增加,这一差距变得更大。此外,我们向第二个输入添加加性高斯噪声,LR MSI,调查MSSR-NET行为模糊和嘈杂的LR溪。表9表明MSSR-NET比基线SSR-NET更健壮的噪音。相对应的PSNR值基线SSR-NET下降了超过4 dB当我们考虑一个嘈杂的情况下,与此同时,这一差距MSSR-NET约为1.5分贝。然而,即使对于激进的噪声标准差σ= 100 psnr值仍然很高。由于这种行为,我们调查了输入LR HSI的重要性。我们表明,网络主要依赖于输入人力资源MSI。具体来说,帕维亚大学数据集,PSNR值的方法将下降小于1分贝当我们删除输入LR溪。在未来,我们计划扩展我们的浅网络解决结合HSI增强问题,如去噪和demosaicing。

5的结论

提出了一种浅CNN, MSSR-NET HSI SR基于SSR-NET架构。MSSR-NET优于老先进的HSI 5遥感数据集的方法。此外,在不同的数据形成设置MSSR-NET显示了它的优越性。另一个属性,我们发现结果对应于一个人力资源的区别MSI输入和两个输入情况下几乎没有。

数据可用性声明

公开的数据集进行分析。数据可以在这里找到:https://www.ehu.eus/ccwintco/index.php/Hyperspectral_Remote_Sensing_Scenes)。

作者的贡献

SA开发的方法、程序和数值实验指导下和VK的关键的反馈和柯。SA写了论文,然后回顾了在深度VK柯。

资金

这项研究支持行业创新的博士学校,坦佩雷大学。

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

引用