原始研究的文章

前面。远程Sens。, 2022年7月19日
秒。多和Hyper-Spectral成像
卷3 - 2022 | https://doi.org/10.3389/frsen.2022.932548

辐射传输加速最优光谱采样结合机器学习方法

史蒂芬Mauceri ¹*, www.雷竞技rebatfrontiersin.org

克里斯托弗·w·O 'Dell²,

格里高利McGarragh ²和

Vijay Natraj ¹

¹加州理工学院喷气推进实验室,帕萨迪纳市,美国
²研究所合作研究在大气中,科罗拉多州立大学,柯林斯堡,美国公司

轨道碳Observatories-2和3进行太空测量氧气a带和弱和强二氧化碳(有限公司₂)乐队使用大气碳从太空观察(治疗)检索。在治疗中,贝叶斯最优估计方法是用来检索column-averaged有限公司₂干燥的空气从这些测量摩尔分数。这种检索需要大量的极化,多次散射辐射传输计算为每个迭代。这些计算占用大部分的处理时间为每个检索和减缓算法,再加工任务的数据在多个年变得特别耗费时间。加速辐射传输模型,从而缓解这种瓶颈,我们已经开发出一种新颖的方法,使模型的全光谱三OCO-2/3乐器乐队光芒的一个小子集单色波长的计算。这允许减少单色的数量计算的10倍,这可以通过辐射误差小于0.01%的现有的算法和很容易可调到所需的accuracy-speed权衡。对于位于检索,这加速了over-retrievals约两倍。这项技术可能适用于类似的检索算法对其他温室气体传感器与大量数据,如GeoCarb GOSAT-3, CO2M。

1介绍

二氧化碳(有限公司₂)是地球大气层中主要的温室气体之一。为了更好地理解碳循环的源和汇,轨道碳Observatories-2(“轨道碳观测者2号”)(老人et al ., 2017)和3 (OCO-3) (老人et al ., 2019)使太空测量反射太阳光的平均检索列有限公司₂干摩尔派系(X_二氧化碳)。当阳光穿过大气层,wavelength-dependent一部分被吸收。阳光被吸收取决于多少,除其他因素外,各种大气气体的浓度,如氧气(O₂)有限公司₂水蒸气(H₂O)和一氧化碳(CO),以及气溶胶和云粒子的浓度调节光子路径长度。OCO-2/3传感器有三种仪器通道测量反射太阳光在氧气的高光谱分辨率a带(O2A-band)以及弱和强CO2-bands (WCO2-band和SCO2-band),位于0.76,1.61,和2.06µm分别。获得X_二氧化碳从这些测量,OCO-2/3采用最优估计(OE)检索算法,称为位于检索(C。O 'Dell et al ., 2018)。位于检索采用基于物理检索与不确定性量化。在一个迭代的过程,身体向前辐射传输模型(博世et al ., 2006;康纳et al ., 2008;O 'Dell et al ., 2018;O 'Dell et al ., 2012)用于计算top-of-atmosphere光芒从定义的状态向量先天的。这个建模光辉光辉OCO-2/3观察到测量相比。接下来,差异计算和测量光谱回向前传播模型和一种新的光谱计算与更新的状态向量。重复这个过程,直到最小误差阈值测量和计算光芒之间达到或超过最大迭代次数。除了许多其他变量,最后状态向量X的提供了一个估计_二氧化碳。错误在检索到的X_二氧化碳低于0.1%,远期辐射传输模型的误差(RTM)需要本身的不超过0.1% (Hasekamp &一部,2008)。这个地方在任何RTM严格的精度要求。可以实现这样的精度与计算昂贵的高分辨率计算考虑幽灵似地不同吸收的气体(如。LBLRTM (克劳夫et al ., 2005)]。然而,“轨道碳观测者2号”每天生产100万调查的收益率大约100000万里无云的试探。这导致每年4000万万里无云的调查需要处理。检索X_二氧化碳从这些调查结果需要运行OE和每个测深的RTM很多次了。任务变长,加工时间和成本增加新版本,它可能变得过于昂贵再加工数据。OE期间的大部分时间花在RTM,大约92%。本工作描述“轨道碳观测者2号”任务的最新进展来减少这些计算的计算成本。除了“轨道碳观测者2号”和OCO-3,发达的方法可以方便地应用于其他温室气体传感器如GeoCarb (摩尔et al ., 2018),CO2M (了et al ., 2019),和高光谱仪器操作从紫外线到短波红外线。

1.1辐射传输加速方法

高分辨率的计算成本的计算瓶颈了许多应用程序在过去的几十年里。各种方法已经开发出来,以减轻计算负担。例如,correlated-k方法(古蒂et al ., 1989;1991方网眼花边和形式限制性)是常用的加速RTMs谱除以乐队,可以被描述为少量的系数和权重。使用这些系数,pseudo-monochromatic计算执行,可以用来重建完整的频谱。基于correlated-k“指数和拟合”(Wiscombe和埃文斯,1977)可用于优化的k值的数量平均透光率表示为单色波长的指数的加权和。同样,最优光谱采样(OSS) (Moncet et al ., 2015)扩展指数和拟合,直接逼近光芒从单色RTM计算的一个子集。对逐行计算的准确性,可以通过调优单色波长的数量。另外,主成分可以用来加快RTMs (Natraj et al ., 2005;刘et al ., 2006;Efremenko et al ., 2014)。不幸的是,错误与大多数RTM加速方法远远超出目标0.1%误差预算“轨道碳观测者2号”。最近,使用机器学习获得注意进一步加速RTMs (Reichstein et al ., 2019)。机器学习方法能展开自己的潜力如果有足够多的训练数据可用以适应模型。幸运的是,用机器学习的方法,来取代一个RTM RTM本身可以用来生成一个训练数据集,理论上任何规模的。存在端到端方法,状态向量的光芒直接建模与更复杂的机器学习模型,如神经网络(输送量大et al ., 2019;朋友,Mahajan &诺曼,2019;高et al ., 2021;Brence et al ., 2022)或高斯过程(Gomez-Dans et al ., 2016;Vicent et al ., 2018;斯文森主持et al ., 2020)。端到端方法可以多个数量级的速度比更传统的方法,因为他们完全省略了昂贵的RTM的计算。然而,端到端方法与高精度斗争高维状态空间的要求。此外,使用神经网络方法固有的缺点是可翻译的比其他方法时,可以表现出错误的非线性行为根据他们训练的状态空间。这可能会导致意想不到的错误。其他方法来加速RTMs借助机器学习取代只有RTM的一部分。这些方法通常被称为混合方法和合并计算基于物理和统计方法。例如,低保真物理辐射传输计算可以增加一个神经网络与高保真的计算(Brodrick et al ., 2021),辐射传输计算执行的一个子集波长可以扩展在整个光谱范围(Le et al ., 2020),或者神经网络用于预测大气透射率的配置文件,可以用于物理RTM (Stegmann et al ., 2022)。使用混合方法降低了维数的挑战相比,端到端方法在计算增加的成本负担。

最后,还有目前在操作“轨道碳观测者2号”处理管道中实现的方法。这种方法依赖于一个两步RTM。首先,快速低准确度2-stream RTM用于计算频谱状态向量。在第二步中,这个精度低频谱与少量的“调整”高精度RTM计算考虑多次散射利用24流(克里斯托弗·W'Dell阿,2010)。高精度计算的波长进行选择,这样他们均匀样本column-integrated气体光学深度以及多个散射误差项,进一步描述段et al . (2005)。这有效地减少了计算成本,数量级比在全光谱范围高精度计算。此外,进一步加速计算,精度的计算只在一个子集执行其余波长的波长被线性插值填充。这插值一步减少计算所需的精度低等RTM的数量大约有8000在O2A-band SCO2-band, WCO2-band分别,3000。这减少了计算精度低成本计算额外∼60%。

然而,提出模型仍然是一个重要的瓶颈OCO-2/3 OE的检索。再加工的完整数据记录新版本需要一个重要的金融投资以及再加工一年多的时间。这导致一个重大更新之间的延迟对RTM和提供新数据社区受益于这些更新。因此,我们研究如何实现额外的加速算法,同时保持现有的大部分和验证算法。额外的加速的主要候选对象,RTM的精度内的高水平的相关性计算。当前相邻波长的线性插值利用相关但不利用实证波长的相关性。我们尝试了线性和非线性的机器学习方法(线性回归,随机森林和神经网络)的目标的方法优于当前的方法将提供一个很大的好处。可能使用一些最初的实验中,我们选择了一个模型,利用实证方法在一个简单的相关性,并完全可判断的方式在下面描述。

本文的结构如下:在第二部分,我们将讨论本研究中使用的数据集,第三节详细说明我们模型光谱波长的一个子集,第四部分讨论了结果之后,第5部分中讨论)。最后,第六节提供了一个结论,并讨论下一步。

2数据特征

我们选择“轨道碳观测者2号”的一个子集由采样数据记录每第四陆地最低点和海洋测深闪耀天1、6、11、17、22日和27日从每个月2016年1月至2017年3月。多云的场景被排除在外,因为他们被标记和删除之前的预处理步骤操作OE检索。这个结果在20948年的一组“轨道碳观测者2号”调查,在这项研究中使用。对于每个探测,我们完成了RTM计算高分辨率(0.01厘米⁻¹)at-sensor反射在全光谱范围的三个“轨道碳观测者2号”乐队。O2A-band, WCO2-band, SCO2-band高分辨率网格有27494,12961,和10690点,分别。调查结果的分布在各个状态变量所示图1。

图1

图1。从“轨道碳观测者2号”的分布状态变量的子集试探用于这项研究。训练集所示蓝色,在橙色的测试集。*气团描述的相对气团测深定义为1 / cos(太阳天顶角)+ 1 / cos(观测天顶角)。

这些调查结果被分为训练、验证和测试组,每组由一个子集的认为是试探这组独有。为了避免数据泄漏之间的三个数据集,我们将调查观察时间,第一个80%的试探(01/01/2016 12/27/2017)被用作训练集,下一个10%(01/01/2017 02/11/2017)被用于验证集,剩下的10%(02/17/2017 03/27/2017)为测试集。训练集用于适应模型参数,或火车该模型;验证集被用来估计的模型推广到新数据和优化各种模型参数;和测试报告最终的模型精度。

2.1维数

虽然OCO-2/3样品每个乐器乐队1016多波长垃圾箱,unconvolved计算光谱需要约一个数量级更多的单色辐射计算准确捕捉潜在的光谱特性。美在这些波长并不是独立的,在某种程度上,由相同的物理过程,例如,吸收氧气或气溶胶的散射。估计每个仪器的自由度乐队,我们进行了主成分分析(PCA)使用训练集和调查需要多少主成分(PC)来描述每个乐队99.9%的变异性。

累计方差解释第一15个人电脑(原始信号的方差组合可以被描述的第一个15个人电脑)的O2A-band WCO2-band, SCO2-band所示图2。WCO2-band已经最低的维数与前两个电脑描述方差的99.9%。O2A-band和SCO2-band需要大约四个电脑来描述99%的变异性和额外的5个人电脑来描述方差的99.9%。注意,这些电脑模拟,单色光谱没有多普勒变化,仪器噪声或其他仪器的影响。考虑到10000多个波长的每个通道,似乎有很大程度上的相关性在每个乐队。从主成分分析,我们预计WCO2-band要求最少的信息建模和即使O2A-band包含单色波长的两倍,我们预计需要相同数量的信息SCO2-band这个乐队。

图2

图2。15主成分的累积方差解释这三个OCO-2/3乐器乐队。O2A-band显示蓝色恒星,WCO2-band橙色圆点,SCO2-band绿色方块。注意,为了清楚起见,累积解释方差只显示了从0.99到1.0,因此,省略了数据点的累计解释的方差小于0.99。

3的方法

3.1建模光谱波长的一个子集

如下一阶近似,比尔定律(Swinehart 1962),由OCO-2/3单色辐射测量, $我_{λ}$ [W·老⁻¹·米⁻³),可以用传入的近似top-of-atmosphere太阳能辐射, $我_{λ 年代 u n}$ ,除以太阳天顶角的余弦值 $μ$ ,乘以表面反照率, $ρ$ ,大气透射率指数取决于气团,m[-]和吸收光学深度, $τ_{λ}$ (见情商。)。解释的目的,我们假定一个常数表面反照率在整个乐队。这个假设很容易推广到线性或二次依赖,在位于检索使用。请注意,情商。不占地表辐射释放或气氛。因此,该方法仅限于应用发出辐射的表面或大气可以被忽视。

模型各个波长的辐射之间的关系,我们首先取自然对数的光辉。波长之间的线性关系在一个给定的乐器乐队。之后,我们可以近似的光辉在每个波长全分辨率光谱的线性组合的辐射波长的一个子集, $我$ 通过乘以矩阵, $一个$ ,从现在开始被称为“相关矩阵。“最后,我们把这个产品的指数回到预测的光芒, $\hat{我}$ (见情商。)。对于这个关系, $我_{λ 年代 u n}$ 和 $ρ$ 可以省略,因为他们可以近似为常数(变化 $我_{λ 年代 u n}$ 相比非常小OCO-2/3准确性和对波长的依赖关系 $ρ$ 可以被忽视的狭窄的OCO-2/3乐队)。

我_{λ} = ρ \frac{我_{λ 年代 u n}}{μ} e^{- 米 τ_{λ}}, (1)

\hat{我} = e x p (\ln (我) 一个), (2)

c o 年代 t = α R (一个) + \frac{1}{2 n} \sum_{k = 1}^{n} {({\hat{我}}_{k} - 我_{l})}^{2} w 我 t h R (一个) = {| |的| |}_{2} = \sum_{k, l = 1}^{n} {一个}_{k, l}^{2} 。 (3)

800输入波长相关性矩阵, $一个$ ,O2A-band, WCO2-band, SCO2-band包含800行和27494年,12961年和10690年列,分别。这导致大约2000万O2A-band自由参数,1000万参数WCO2——SCO2-band需要决定使用训练集,而不是直接解相关矩阵我们第一次初始化 $一个$ 随机,然后最小化重建光谱之间的均方根误差, $\hat{我}$ ,真正的光谱, $我$ 训练集光谱(见情商。)。最小化,我们使用谷歌TensorFlow框架(Abadi et al ., 2016)和亚当梯度下降算法(Kingma &英航,2014)。这个迭代过程健壮,每个波长的辐射被减去均值和标准除以标准差作为训练集的计算。此外,我们添加L2正规化(R (A)在情商。),也称为体重衰变,成本函数与一个小的权重因子 $α$ = 1 e-11。L2正规化有助于避免过度拟合训练集通过鼓励相关矩阵中的较小值, $一个$ 。权重因子,确定实际使用验证集。

注意我们在的近似方程式1,2忽略了各种wavelength-dependent非线性效应,如旋转拉曼散射(Sioris心中&埃文斯,2000)气溶胶和地表反照率和小的光谱依赖性。此外,solar-induced荧光(SIF) (太阳et al ., 2017)并没有被纳入我们的近似。OCO-2/3, SIF分开计算并添加到辐射计算后处理步骤。因此,它不考虑我们的近似。多普勒变化,太阳光谱的影响,与仪器谱线形状函数卷积(ILS)发生下游提出的这种算法模型,因此不需要考虑。

总而言之,每个高分辨率光谱建模计算的一个子集波长的单色光芒。这种方法类似于目前的线性插值实现OCO-2/3处理管道的操作。然而,新方法允许利用不仅辐射的关系邻近的波长的每一个波长,每一个其他波长。

3.2寻找最有益的波长

来确定它的波长子集包含最完整的光谱分辨率信息模型,我们利用一个autoencoder。Autoencoders之前用于特征选择(汉et al ., 2018),并允许考虑线性以及非线性输入波长之间的关系。autoencoder包括三个部分,一个编码器,项目数据到一个低维空间,一个瓶颈,限制了低维空间的维数,一个解码器,项目数据的低维空间回其原始形式。训练autoencoder,损失函数最小化使用梯度下降法测量原始频谱之间的差异,编码和解码后重建光谱。对于我们的应用程序中,我们使用100个神经元的神经网络编码和解码数据的层,分别。初步实验表明,更多的神经元在编码器和解码器导致类似的结果,但在更高的计算成本。形成了瓶颈的中间层由20个神经元。神经元的数量瓶颈被选作为权衡能够重建光谱精度高和能够秩序的重要性,各个波长下只有少数剩余波长(一次波长的数量低于神经元的数量瓶颈不能排序了)。此体系结构迫使神经网络编码完整的高分辨率光谱(∼27000波长O2A-band,弱和强CO2-bands∼11000波长)到一个20维潜在的空间,然后从这个空间重建它。这就要求神经网络权重每个波长的贡献20维空间。波长包含冗余信息将获得更少的体重的波长带独特的信息将被赋予更多的重量。 To extract this weighting, we applied the following approach to spectra of each instrument channel separately.

用训练集训练autoencoder 100时代,然后随机选择一组100波长,扰乱每个波长,测量原始之间的均方误差(MSE)和编码和解码谱。的10个波长对均方误差最小的影响被认为是最不重要的和删除。重复这个过程,直到只剩下20波长。删除之后,波长,波长的信息内容就越高。

另一种方法来找到最丰富输入波长的每个乐队都是迭代计算两两相关的波长和波长选择和删除是高度相关的。这最近被提出的白et al。(2020)我们比较的方法使用auto-encoder这个方法。请参考(白et al ., 2020算法的详细描述。

4的结果

4.1的波长

图3 a, B显示的顺序O2A-band的波长取决于autoencoder从最小到最多的信息。O2A-band,最有益的波长是连续介质两端的乐队以及深处吸收带。这表明,自由度的光谱O2A-band都受限的反射波长的辐射几乎没有吸收(太阳能和查看几何信息以及气溶胶和表面反射率)以及高气体吸收波长(丰富的各种大气中吸收气体,包括有限公司₂)。气溶胶的光学特性和地表反照率通常是一个平滑的波长的函数。狭窄的乐器乐队OCO-2/3,这允许插入其中的一些特征。同样,在给定的波长取决于气体吸收大量的气体。这个数量可以最好的近似的深处吸收波段的波长。图3 c, D但对于WCO2-band显示一个类似的阴谋。类似于O2A-band连续波长的似乎最光谱信息。图3 e, FSCO2-band显示最重要的波长。

图3

图3。订购信息内容的每个波长作为O2A-band autoencoder决定的(A, B),WCO2-band(C, D),SCO2-band(E, F)。100年最重要的波长突出显示黑色的钻石。最有益的波长所示黄色,黑色的信息最少波长。

更好地了解各个波长的光谱建模,我们展示的结构适合每个仪器通道的相关矩阵图4。积极的条目显示在红色和显示输入波长和输出波长之间的正相关关系。消极的条目显示在蓝色和指示负相关。O2A-band (图4一),波长的连续体(756 - 759 nm)显然是彼此相关的。同样的事情也发生在长波长(770 - 772 nm)大多数但不是所有波长的连续体。然而,似乎没有信息,链接O2A-band的连续两边。WCO2-band (图4 b)和SCO2-band (图4 c),相关矩阵的结构不太明显。然而,正如人们所预料的,似乎有一个小相邻波长增加正相关,显示一个红色斜条纹在一对一的线。

图4

图4。相关矩阵,一个,O2A-band(一),WCO2-band(B),SCO2-band(C)。输入波长上所示x设在和输出的波长y设在。积极的条目显示为红色,蓝色的消极的条目。

比较我们的提议auto-encoder correlation-based波长选择方法白et al。(2020),我们反复调整dθ这样它会导致相同数量的输入波长文章中描述。使用波长选择和auto-encoder correlation-based方法,我们训练集和评估的相关矩阵的平均测试集建模错误。错误的百分比相对连续体所示表1。

表1

表1。比较模型误差百分比相对连续使用correlation-based方法选择输入波长和使用一个auto-encoder (AE)提出。结果输入波长的数量为每个乐队与#王表示。输入的参数dθ部分波长选择算法描述白et al。(2020)。

的波长选择auto-encoder显然使模型与一个较小的建模误差。然而,应该指出的是,auto-encoder是数量级的计算更加昂贵。因为它只需要运行一次训练,这通常是一个可接受的成本。

4.2光谱建模结果

4.2.1错误依赖准备输入波长的数量

多个输入波长我们考虑模型输入我们预计精度高但增加递减为每个添加波长准确性。图5显示了模型精度为100、200、400、800和1600输入波长为每个测试集上的三种颜色。

图5

图5。建模误差百分比相对连续波长对不同数量的输入。O2A-band显示蓝色恒星,WCO2-band橙色圆点,SCO2-band绿色方块。

O2A-band,添加超过800的错误并不减少输入波长。精度的增加WCO2-band和SCO2-band浸透400波长的更早。

图表说明了该方法可以调到优先计算成本误差(少量的输入波长)或精度计算成本(大量的输入波长)。

更小的错误当我们比较卷积后的光谱1016仪器通道的“轨道碳观测者2号”。这进一步减少O2A-band 800输入波长的误差从0.0048%降至0.0035%。WCO2-band和SCO2-band 400输入波长误差从0.0064%降低到0.0042%和0.01%到0.0059%,分别。

4.2.2误差对状态空间的依赖

我们分析了模型误差对各种状态变量。对于大多数变量,没有明确的依赖。然而,发现明显的依赖关系建模错误的路径长度对太阳辐射通过大气中,长路径长度的误差增加。这种效果是类似大小的所有三个频道(见工具图6),表明我们的假设, $\hat{我}$ 可以表示为 $e x p (ln (我) 一个)$ (见情商。),正越来越多地违反这些观察几何图形和太阳能天顶角度。这可能是由于气溶胶散射、光折射的大气密度梯度,或其他影响没有捕捉到情商。。此外,我们发现一些依赖关系与薄云层的影响相关的建模错误没有标记的O2A-band预处理(ABP)。一个相当数量与云定量方法是dp_abp代表检索到的表面压力减去从气象预报模型表面压力。dp_abp,我们注意到增加建模错误偏离超过1000 Pa从0时,表明云挑战提出加速方法。

图6

图6。重建误差百分比相对连续的气团(一)O2A-band,(B)WCO2-band,(C)SCO2-band dp_abp的(D)O2A-band,(E)WCO2-band,(F)SCO2-band。所示的意思是红色的,橙色的5日和95百分位,并与灰色点个人光谱的错误。

4.2.3对云

正如前面所讨论的那样,试探与强大的云污染(ABP云识别的标志)被排除在OCO-2/3加工,因此省略了训练集和测试集。然而,这种限制的使用我们的开发云自由RTM的计算方法。调查我们的方法是否适用于多云的场景,这可能是重要的其他应用程序(例如,提取云从OCO-2/3观察或气溶胶属性(理查森和斯蒂芬斯,2018年;理查森et al ., 2019;曾庆红等人。,2020年)),我们同时包含一个单独的相关矩阵来光谱,无云,云污染光谱3.1节中描述的相同的步骤。所示的结果表2。以无云水深测量,误差模型的训练与云污染和无云光谱“混合”也有类似的性能在无云模型训练数据。然而,应用“混合”模式对云污染光谱增加平均建模误差约50%的所有三个乐队,它本身还可能为检索云或气溶胶属性足够低。相比之下,最后一行显示了模型的训练和测试的性能在万里无云的光谱,提出了研究中使用位于X_二氧化碳检索。

表2

表2。建模误差百分比相对连续体模型训练与光谱包括云污染(混合)和测试在无云,云被污染的光谱。最后一行显示了模型的性能符合无云数据比较(提议)。

4.2.3陆地和海洋

发达的方法使用相同的相关矩阵,闪烁在海洋观测和最低点观察。表3显示了性能提升将启用如果两个不同的矩阵可用于每个观测类型。而这将使RTM加速稍微复杂的实现,它将减少误差0.001% -0.004%取决于仪器通道。最大的改进是陆地最低点SCO2-band观测。因为我们的目标是让我们的开发方法尽可能简单和通用,我们建议只使用一个模型没有区分通过观察每通道类型。

表3

表3。建模误差百分比相对连续体模型训练与陆地最低点和海洋测深闪耀。最后两行显示模型的性能符合的陆地和海洋(提议)。

4.2.4 Wavelength-Dependent错误

到目前为止,我们已经讨论了每个频带的平均误差。重要的是进一步了解这个错误是分布在不同的波长。一个代表性的例子每个乐队及其误差建模光谱卷积之前和之后的OCO-2/3乐器行函数所示图7。选择三个光谱的测试集和包含一个RMSE接近平均每个乐队的RMSE。为所有三个乐队,建模和原始辐射的差异时几乎看不见overplotting光谱。看着O2A-band块的差异,最大的错误是连续体。此外,卷积后,我们看到一些差异在762 nm的0.01%。WCO2-band建模、误差更均匀分布模型高估的约1598海里。的误差建模SCO2-band似乎均匀分布。

图7

图7。一代表测深建模光谱和相关错误,之前和之后用“轨道碳观测者2号”仪器lineshape函数卷积,对每个仪器通道。O2A-band(A, B)卷积后(G H);WCO2-band(C, D)卷积后(I, J);SCO2-band(E, F)卷积后(K, L)。建模光谱所示蓝色,红色的原始光谱,百分比的差异相对于黑色的连续体。

wavelength-dependent错误分析在完整的测试集,我们发现没有系统偏差这三个波长的渠道(见图8)和绝对平均误差在0.1%以下的每个波段的波长。第五届第95个百分位大部分是对称围绕零。O2A和WCO2乐队,90%的建模光谱的误差小于±0.02%在每个波长的基础上。SCO2乐队,误差大约是O2A乐队的两倍。

图8

图8。建模误差对每个波长的O2A-band完整的测试集(一),WCO2-band(B),SCO2-band(C)。所示的错误是黑色,第95百分位的5是绿松石所示。

5讨论

5.1依赖重建光谱模型输入

建立个人的直觉波长为建模光谱,我们进一步对比100年最重要的波长的相对重要性。100波长是摄动的光辉在每个独立的1%,全谱重建从摄动范围,和RMSE百分比相对连续进行求值。这是重复的每个100输入波长和光谱测试集。平均增加误差扰动所示图9O2A-band, WCO2-band, SCO2-band意味着反射系数的函数。所有三个乐队表现出类似的依赖意味着反射的敏感性。波长的大部分的入射的太阳光是减毒灵敏度与波长相比较小,大多数辐射是分散。

图9

图9。灵敏度模型误差为O2A-band单个输入波长(一),WCO2-band(B),SCO2-band(C)。注意:y -x设在每个情节有不同的尺度。

5.2线性插值相比

当前的RTM方法减少评估依赖于光芒在相邻波段之间的线性插值。虽然这种方法允许减少必要的RTM的数量计算,它需要一个数量级的波长比(见方法提出了手稿图10)。这是由于当前方法的能力利用实证波长的关系,例如,相同的气体吸收特性。然而,由于简单的线性插值,它推广了新数据,相对强劲的小型光谱对RTM的更新。相比之下,这里的方法需要再培训模型对RTM如果任何更新,例如,更新为痕量气体吸收的概要文件。

图10

图10。数量要求单色RTM计算模型的一个完整的光谱:计算光芒在每个波长(“全”:蓝色),当前的相邻波长使用线性插值方法(“当前”:橙色),和方法提出了手稿(“Y = x *”:绿色)。计算所需的RTM的数量大约是成比例的计算成本。比较显示为每个“轨道碳观测者2号”乐器乐队。

正如前面所提到的,我们提出的用例方法只解决了计算成本与“轨道碳观测者2号”使用的RTM的精度计算,占大约57%的处理时间对于一个给定的检索。评估的加速我们的应用程序中,我们计算100 RTM光谱,包括精度低、高精度的计算,和卷积的“轨道碳观测者2号”仪器通道。提出的方法需要平均7.1秒为一个测深和相关的所有三个仪器通道光谱在单个CPU。相比之下,目前的方法需要13.1秒,计算所有波长直接需要16.7秒。这说明我们如何有效减少最昂贵的RTM是微不足道的一部分,进一步加速需要来自RTM的其他部分,例如,高精度计算。

5.3训练数据需要多少钱?

提出的方法可以加速向前模型的数量级。然而,它首先需要构建一个与RTM重复评估训练集。建筑成本的额外的计算需要考虑初始训练集与该方法提供的减少计算成本。构建训练集的成本直接取决于有多少光谱需要符合相关矩阵。一定程度后,相关矩阵不能进一步限制即使更多的训练数据是可用的。测试需要多少光谱,我们每一个采样nth谱从训练集n= 1,2,4,25岁,符合相关矩阵与减少训练集。误差评价进行相同的测试设置总体模型。训练的迭代的数量保持不变在所有模型来弥补训练集规模的变化。图11显示了三个仪器通道误差以及他们如何取决于训练集的大小,O2A-band和SCO2-band 6000多光谱有微不足道的改进。WCO2-band不会显示强大的模型依赖训练集的大小,可以成功地训练只有1000光谱(鉴于他们充分捕获完整的状态空间的可变性)。因此,相比大约100000无云的光谱“轨道碳观测者2号”获得每一天,让最初的训练集的计算成本可以忽略不计。小训练集规模的直接结果的简单模型,局限于单一矩阵需要确定。

图11

图11。建模误差百分比相对连续对不同训练集大小。O2A-band显示蓝色恒星,WCO2-band橙色圆点,SCO2-band绿色方块。

6结论

提出了研究解决只有一个元素的加速度的OE检索,即低准确度RTM计算。这些计算消耗大约一半的每个OE迭代所需的总时间。因此,即使有了加速的一个数量级以上,我们将能够加速OCO-2/3只检索的两倍。减少计算所需的高精度RTM,计算占用大多数剩余的计算时间应该解决。这些高精度RTM计算的目的是为了正确计算的精度计算昂贵的多次散射。完全建模精度计算相比,这些修正的维数要小得多。因此,推导状态向量的修正因素直接使用机器学习可能是一个可行的选择,可以加快整个OE检索比当前实现低一个数量级。

我们表明,高分辨率光谱O2A-band, WCO2-band, SCO2-band包含成千上万的波长可以建模从一个小的子集波长(数百)比0.01%。提出的方法是可调到所需-准确率权衡法则。描述技术可以显著加快的RTM讨论波长乐队由一个数量级。这对于OE检索尤其重要,严重依赖RTM在每个检索迭代评估应用于X的检索_二氧化碳从OCO-2/3观察。在光谱建模方法给出的结果是免费的系统偏差,并将操作用于OCO-2/3检索。我们的方法很简单,健壮的、几乎不需要训练数据,能够很容易地扩展到波长范围超出了讨论的三个乐队。

数据可用性声明

最初的贡献提出了研究中都包含在这篇文章/补充材料;进一步询问可以针对相应的作者。

作者的贡献

SM领导了这项研究,写了初稿的手稿。通用汽车提供了数据。通用、公司会和VN提供指导。所有作者导致手稿修改和阅读和批准提交的版本。

资金

这项研究是由喷气推进实验室,加州理工学院,在国家航空和宇宙航行局的合同(80 nm0018d0004)。

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或那些出版商编辑和评论员。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

引用

Abadi, M。,Barham, P., Chen, J., Chen, Z., Davis, A., Dean, J., et al. (2016). Tensorflow: A System for Large-Scale Machine Learning.” in论文发表于第12届USENIX研讨会上操作系统设计与实现(OSDI 16),乔治亚州萨凡纳,2016年11月2 - 4,。

谷歌学术搜索

巴姨,W。,Zhang, P., Zhang, W., Ma, G., Qi, C., and Liu, H. (2020). A Fast and Accurate Vector Radiative Transfer Model for Simulating the Near-Infrared Hyperspectral Scattering Processes in Clear Atmospheric Conditions.j .定量Spectrosc。Radiat。为我国。242年,106736年。doi: 10.1016 / j.jqsrt.2019.106736