垃圾邮件:软匹配非刚性的pointcloud登记

1介绍

只有点云,登记问题的通用解决方案是利用网格重建,它挑战了许多深度传感器由于传感器噪声,缺失的部分,和孔(源于遮挡)。基于网格的方法(例如,利用泊松表面重建(Kazhdan et al ., 2006)主要适用于无噪声的,十全十美的表面。这些方法一般包括插值和平滑,因此影响注册的准确性和可能失去重要的细节。除此之外,其他网格重建方法(如球旋转)留一些un-indexed点和断开连接的导管,构成挑战技术,如先进的非刚性配准功能地图(Ovsjanikov et al ., 2012)。

如果一个人被要求手动确定两个三维点云的相应部分(尤其是大型的具有挑战性的情况下,毫无特色,半扁平表面),最引人注目的领域将开始通过在一个扫描,寻找对应。通过使用这些匹配部分的初始化步骤中,相邻的部分可以比较和评估传递和进步的方式增长的网络通讯。

这个想法后,我们提出一个框架,该框架是基于本地刚性补丁和仅仅依赖几何特性的三维点云。我们提出approachassumes整个当地僵化的聚合占全球non-rigidity变形对象的连续扫描。因此,我们使用一个软斑块的概念,其主要好处(与个人分)相比,显著减少了计算复杂度和时间。

我们工作的主要贡献是一种无网格,visually-featureless,模范自由、topology-aware,几何集中,使3 d非刚性配准方法可变形物体的三维重建。图1显示了一个示例的注册公共数据集。根据Cadena et al。(2016),我们的软可分为低级但灵活密集的表示与计算开销可以忽略不计()。在管道中,我们获得一个稀疏对应(不一定是连续的)扫描,使这种方法应对大局部变形小。我们评估提出的三维注册方法以及完整的重建管道模拟和公开的数据集,证明我们的方法的有效性。

2相关工作

属于可变形物体的连续登记的问题是经常遇到的三维映射算法。模型或基于模板的方法例如可以处理严重变形对象的迅速和有效地(小et al ., 2017)。作者以刚性的方式注册一个分段点云,然后由非刚性的拟合模型弹性网格基于有限元方法。在其他方法,一个关节运动模型或额外的本体感受的传感器作为先验约束和跟踪帧到帧非刚性的变形为快速提高重建质量的身体运动(Yu et al ., 2017;2018年;郑et al ., 2018)。这依赖于其他传感器或先验严重限制了这些方法的适用性。

表面表征基于截断距离函数提取(TSDF)签署的游行立方体和存储为一个多边形网格与point-normal对规范框架。一个卷注册到一个时间点(标准帧),窦et al。(2016)声称在DynamicFusion帧到帧运动缓慢而小心地控制由于假设亲密一点体积和框架之间的通讯。因此,这种方法不能处理大变形归因于数据融合成一个单一的挑战模式。

虽然DynamicFusion仅仅使用几何对应,VolumeDeform (Innmann et al ., 2016),另外在生成多边形网格,利用RGB数据通过稀疏全球一致的筛选功能改善校准过程。这些特性作为全球锚点来减轻漂移,使处理切向运动。方法依赖于场景的视觉和颜色特征不能在相应阶段的存在视觉上毫无特色的对象,poorly-illuminated场景,或剧烈的变化。

建立对应的表示方法通常使用一个网- frame运动跟踪和提取特征。然而,表面重建的稀疏和噪声点云是一项繁琐的任务。此外,提出的方法纽康比et al。(2015)和Innmann et al。(2016)可能会失败在大- frame运动由于底层的基于网格对应估计(Slavcheva et al ., 2017)。

最近的刚性和非刚性的注册工作充分利用签署的距离函数(SDF)及其不同的变体,如TSDF概率自卫队(PSDF)和欧几里得自卫队(ESDF) (古普塔et al ., 2016;Slavcheva et al ., 2017;Yu et al ., 2017)。这个机构的工作已经被证明是有效体积表示的一个场景。解决传感器噪声,消除误差累积模型。总的来说,这些算法的性能高度依赖于场景中,和能力来处理变形的范围和速度总是妥协与忠诚。与现有浓密的大满贯方法相比,最近的工作SurfelWarp (高和Tedrake, 2019)提高DynamicFusion代替体积数据结构与几何和变形场的surfel-based表示。在管道调整当前的参考系,他们第一次初始化变形场与前一帧,然后同样DynamicFusion (纽康比et al ., 2015)部署基于迭代最近点(ICP)的优化估计非刚性的扭曲。

方法利用大部分的非刚性配准的转换成本函数的正则化项。然而,在运动边界(不连续的真实光学2帧)之间流动,它可以创建工件。解决这个问题,Zampogiannis et al。(2019)使用两个概念的联系和分离注释一个场景不断变化的拓扑结构,然后混合两个向前和向后(倒)经本地字段,根据检测到的事件的类型和接近。经字段分别计算由非刚性的ICP和通信协会提高了帧的图像。

3概述

给定两个面向无组织的点云的变形对象在不同的时间戳,一个是作为目标点云, $\mathcal{P}$ ,第二个来源, $\mathcal{P}$ 。目标然后找到当地的刚性转换,登记相关的软斑块从源代码,C,到相应的软目标的补丁,C,逐步转换和注册整个源点云到目标。

拟议的框架包括三个关键成分描述补丁,评估协会建立对应的指标,并在本地变形源。流程图示意图描述了我们的框架图2。

4疲软的描述

4.1软分区

这样的定义位置起着举足轻重的作用。给定两个pointclouds从相同的表面贴上目标和源哪一个进行了一些变形,局部性的概念由独立应用细分这些pointclouds我们称之为分区或补丁。让我们假设相应的严格的目标和源分区转换从一个到另一个。然后,可以找到刚性变换经历了由每个单独的补丁,因此允许变形源非刚性的登记与目标。

上述分区有软(相比之下硬)边界,这意味着pointcloud中的每个点可以属于邻国补丁(es)根据测量称为成员得分。更具体地说,源和目标是轻轻地重叠分区创建补丁。让我们正式表示pointcloud $\mathcal{P}=\{{\mathbf{p}}_1,\dots ,\mathbf{p}\}$ ,这样的坐标我th点 ${\mathbf{p}}_{我}\in {\mathbb{R}}^3$ 和点的数量 $\mathcal{P}$ 。

区分目标和源特性,我们利用和标,例如,和表示的点目标和源pointclouds,分别。请注意,需要考虑多种因素在创建分区;分区的数量,指出,应该成正比的数量分pointcloud生成有意义的描述符。点的平均数补丁,问,应该足以创建可靠的本地补丁特性以及避免计算开销。另一个因素是重叠的补丁,比所谓的softnessτ。让 $\mathcal{C}$ 表示一组重叠的补丁 $\mathcal{C}=\{{\mathbf{C}}_1,\dots ,\mathbf{C}\}$ ,然后按照上述因素,为每个pointcloud分区的数量计算 $≔⌈/(问\times (1-\tau )+1)⌉$ 。分区技术的选择是无关紧要的,只要控制分区重叠和柔软。在这项工作中,我们选择k-medoids (公园,2009年6月与欧氏距离),这是一个变种的k - means数据点被选为重心。

作为一个简短的笔记符号,在这个工作中,分区的顺序用重心米= (米_我|我= 1), $\mathbf{米}=(\left.{\mathbf{米}}_{我}\right|我=1:)$ ,和对应的分区数量目标和源,分别。

4.2属性赋值

考虑到软斑块,重心都伴随着一个距离矩阵B_×的元素d_ij欧几里得距离吗p_我的重心C_j:

为的地方。为₂表示l₂规范。为了确定一个点p_我属于疲软C_j,这个术语d_ij应该小于一个阈值。避免补丁用不同大小很大程度上,我们考虑一个截止距离阈值, $\bar{d}$ 。因此,对于每一个补丁C_j,我们发现的距离问点落在它的边界,然后计算所有这些距离的平均收益率上述截止阀值。因此,的补丁:

评估3 d软斑块之间的相似性在不同的点云的表面,我们使用3 d拍摄描述符(Salti et al ., 2014),产生一个352 -元组描述符向量每点,p_我。让我们定义这个描述符向量的每个点点照片,D_上海(p_我)。然后为每个(软),C_j所谓,我们定义了一个描述符片拍摄,D_CSH(C_j),这是所有包括的正常化element-wise平均点的C_j:

在这个框架中,每个补丁的邻居是一个关键属性提供了一个可靠的测量在协会阶段。因此,一个完整的社区地图生成每一个补丁,它由相邻的补丁,指数的相关补丁,和邻居的方向位置。是由相邻的补丁 $\mathcal{N}({\mathbf{C}}_j)≔\left\{{\mathbf{C}}_k|为{\mathbf{米}}_k-{\mathbf{米}}_j{为}_2\le 2\bar{d},j\wedge k\in \{1:\}\right\}$ ,

保护社区,增加对应的相邻的可能性已经匹配的补丁,每个补丁是由于拓扑约束的地区。我们命名这个属性定向附近,定义为一组三维欧几里得单位向量(见绿图3)代表的方向线连接查询补丁的中心的中心相邻补丁:

在哪里 ${\mathcal{N}}^k(C_j)$ 是k邻居列表的元素C_j。

5软匹配

5.1补丁相似

我们建议两种指标来衡量软成对相似性的补丁C_我和C_j。这两个指标旨在反映补丁协会上的信心。指标的定义如下。

5.1.1拍摄距离向量

测量两个补丁镜头描述符向量的相似度,D_CSH(C_我),D_CSH(C_j),除了最初的352 - d补丁向量,我们也使用32-D短球(赛博保卢斯,2018)向量。短球更少依赖于点法线和有益的噪音。在我们的测量中,相似性从短球获得变体, ${\mathbf{D}}_{\mathit{CSH}}^{\mathrm{年代}}(。)$ 结合从原来的远射, ${\mathbf{D}}_{\mathit{CSH}}^l(。)$ 。然后,拍摄距离向量d_SV,使用l₁和l₂规范的两种变体:

在哪里α₁和α₂相关的权重吗l₁和l₂规范和也β_l和β_年代表示长时间运行和短时间的权重变量,分别。

5.1.2 Neighborhood-topology-preserving拍摄距离

在这个指标,我们的目标是衡量两个补丁之间的相似的邻国的补丁向量。因为即使对两个相应的补丁,相邻块的位置和大小不一定是相似的,我们需要评估这些邻居的相似性补丁,位于相似的立场对两个查询补丁。例如,在图3之间的相似性度量 ${\mathcal{N}}^3({\mathbf{C}}_{我})$ 和 ${\mathcal{N}}^1({\mathbf{C}}_j)$ ,也 ${\mathcal{N}}^5({\mathbf{C}}_{我})$ 和 ${\mathcal{N}}^3({\mathbf{C}}_j)$ 应该贡献突出的整体相似吗C_我和C_j。

首先,成对正常化向量之间的角度 ${\mathbf{V}}_{{\mathbf{C}}_{我}}$ 和 ${\mathbf{V}}_{{\mathbf{C}}_j}$ 计算和存储在一个矩阵Θ吗_×。给定阈值ν最大允许角区别这些向量,矩阵更新由Θ←ν−Θ。在这里,ν取决于生成补丁和分区柔软的数量。设置后的负面元素这个矩阵为零,Θ规范化在0和1之间。因此,co-direction率相关的向量 ${\mathcal{N}}^{米}({\mathbf{C}}_{我})$ 和 ${\mathcal{N}}^n({\mathbf{C}}_j)$ 是由0≤Θ(米,n)≤1。然后,指数和价值观的非零元素(米,nΘ(米,n)这个矩阵被用来计算Neighborhood-Topology-Preserving射击距离,d_NSV:

5.2相似矩阵

使用距离函数定义在前面的小节中,我们建立一个相似矩阵,年代、存储目标补丁和源之间的成对相似性补丁。拍摄向量规范化,最大的可能值d_SV(。,。),d_NSV(。,。)我年代 $\sqrt{2}$ 。因此,(我,j)^th的元素年代被定义为一个衡量之间的相似性C_我和C_j遵循:

在哪里κ₁和κ₂是上述的权重距离。因此: $\mathbf{年代}={\left[{\mathrm{年代}}_{我j}\right]}_{\times }$ 。

5.3健全对应选择

考虑到的行和列索引年代代表的索引补丁在目标和源,分别在理论上,一排的最大元素(作为目标补丁指数)应该给相应补丁的索引来源。然而,由于部分重叠pointclouds有些目标缺乏对应的补丁,而且,这种方法不可避免的会产生异常值。获得一个更健壮的匹配方法,我们提出一个赋值和拒绝策略,利用As-Rigid-As-Possible刚性术语表中定义的再形成的(例如)作为分配错误(Sorkine Alexa, 2007)。我们建议的策略可以被视为一个离散的组合搜索,试图减少分段目标和源之间的刚度。

鉴于两组目标和源质心的代表软斑块,米和米,也n两两对应,用 ${(x_{我}]}_{n\times 1}\leftrightarrow {(y_{我}]}_{n\times 1}$ 和另外X↔Y,代表 ${\mathbf{C}}_{x_{我}}\leftrightarrow {\mathbf{C}}_{y_{我}}$ (例如, ${\mathbf{米}}_{x_{我}}\leftrightarrow {\mathbf{米}}_{y_{我}}$ ),让我们用例如这样:我们首先构建一个图形n细胞重心集中在一个目标, ${\mathbf{米}}_{x_{我}}$ ,k_一个向量(边缘), ${({\mathbf{E}}_{我}]}_{3\times k_{\mathrm{一个}}}$ ,连接它的重心k_一个邻居使用邻接表(通过k d树)。使用这个邻接表 ${\mathbf{米}}_{y_{我}}$ 一个图表(形成的n然后基于源的细胞) ${({\mathbf{E}}_{我}]}_{3\times k_{\mathrm{一个}}}$ (中说明了此过程图9 c, D)。然后我们计算产生的局部刚度项转换目标的每一个细胞。根据资源管理局(Sorkine Alexa, 2007),最优旋转R_我应用于我th重心米_我和它的k_一个邻居 $\mathcal{N}({\mathbf{米}}_{我})$ 通过使用奇异值分解):

同时执行相同功能(R_我)> 0通过改变列的迹象U与最小奇异值有关。

最后,获得相关的局部刚度误差为:

和全球刚度误差: ${\sum }_{我=1}^n{r}_{我}$ 。

因此,选择可以制定一个总刚度最小化问题(隐式地本地刚性)补丁引起的对应关系为:

主题:x_我∈{1,},y_我∈{1,},n∈{1:}如果我≠j→x_我≠x_j∧y_我≠y_j,在那里 $\stackrel{̂}{\mathbf{G}}≔{(\stackrel{̂}{\mathbf{X}}\stackrel{̂}{\mathbf{Y}}]}_{\stackrel{̂}{n}\times 2}$ 表示建立对应关系。这种优化是一个特例的整数规划和数目不详的变量,也就是说,n。

由于约束和未知数量的变量,我们提出一种优化方案。首先,一批潜在的通讯是通过将每一行年代的最大元素的列行。这批然后过滤通过迭代拒绝ARAP对应最大的刚度计算,验算的例如保持批处理和重复这两个步骤,直到所有当地刚性低于动态刚度上限u_l。更新后相似矩阵(考虑到建立和拒绝通讯),一批新的潜在的通讯是送入上述过滤。这个过程建立对应的终止当全球刚度超过一个动态总刚度上限,u_t。这两个上界估计在一个初始化阶段和更新如果没有建立对应在过滤阶段,通过设置u_l的意思是当地的刚性与目前建立了通讯和相关u_t目标补丁的数量乘以当前建立当地的僵化的中值。

这个方案是在展出算法1的函数CorrespondingPatchSelection有三个主要阶段:1)引导阶段初始化和推动优化估计得到的上界n₀最初的通讯,2)筛选潜在的通讯受到当前上界,3)更新两个上界在没有新添加的对应。

算法1。方案选择相应的补丁。

1:函数CorrespondingPatchSelection(年代)

2(Δ):_×1≔马克斯 $\left(\mathrm{D}\mathrm{我}\mathrm{ff}\left(\mathrm{年代}\mathrm{o}\mathrm{r}\mathrm{t}({\mathbf{r}\mathbf{o}\mathbf{w}}_{\mathbf{1}:}(\mathbf{年代}))\right)\right)$

3:u_t←正;(r_我)←∅;

4:而 $u_t>{\sum }_{我=1}^{\stackrel{̂}{n}}{r}_{我}$ 做

5:如果初始化=真正的然后

6: $({\mathbf{G}}_{\mathrm{一个}}^{\prime },\mathbf{年代},u_t,u_l)\leftarrow$ OptInit年代,k_一个,n₀

7:年代←SimUpdater $\mathbf{年代},{\mathbf{G}}_{\mathrm{一个}}^{\prime },\mathrm{\Delta },”d我{\mathrm{年代}}^{”},”re{w}^{”}$

8: $\stackrel{̂}{\mathbf{G}}\leftarrow {\mathbf{G}}_{\mathrm{一个}}^{\prime };我n我t我\mathrm{一个}l我z\mathrm{一个}t我on=\mathbf{F}\mathbf{一个}\mathbf{l}\mathbf{年代}\mathbf{e}$

9:如果

10:G′←row-column下标的最大元素年代每non-corresponded行

11: $({({\mathbf{G}}_{\mathrm{一个}}^{\prime }]}_{n_{\mathrm{一个}}^{\prime }\times 2},({\mathbf{R}}_{我}^{\mathit{t2}}],(r_{我}],{\mathbf{G}}_r^{\prime })\leftarrow$ CorrFilter ${\mathbf{G}}^{\prime },\stackrel{̂}{\mathbf{G}},k_{\mathrm{一个}},u_l$

12:年代←SimUpdater $\mathbf{年代},{\mathbf{G}}_r^{\prime },\mathrm{\Delta },”pe{n}^{”}$

13:如果 $n_{\mathrm{一个}}^{\prime }\ne 0$ 然后

14: $\stackrel{̂}{\mathbf{G}}\leftarrow \stackrel{̂}{\mathbf{G}}\cup {\mathbf{G}}_{\mathrm{一个}}^{\prime }$

15:年代←SimUpdater $\mathbf{年代},{\mathbf{G}}_{\mathrm{一个}}^{\prime },\mathrm{\Delta },”d我{\mathrm{年代}}^{”},”re{w}^{”}$

16:其他的

17:u_l←马克斯([r_我])

18:u_t←中位数([r_我])×

19:如果

20:结束时

21:返回 ${(\stackrel{̂}{\mathbf{G}}]}_{\stackrel{̂}{n}\times 2}$ 和 ${({\mathbf{R}}_{我}^{\mathit{t2}}]}_{3\times 3\times \stackrel{̂}{n}}$

22:结束函数

鉴于n₀作为初始数量的通讯在引导阶段, $\lceil \frac{n_0}{2}\rceil$ 获得的 $\lceil \frac{n_0}{2}\rceil$ 最大的值年代最可能的通讯,其余相关 $n_0-\lceil \frac{n_0}{2}\rceil$ 最低的地方给出的刚性ARAP函数由第一批潜在通讯(潜在的相应的补丁)。然后两个上界是初始化如前所述。在算法1这个阶段是定义为函数OptInit。

我们计划的基础是(CorrFilter potential-correspondence过滤算法1),迭代滤波器输入对应的潜力 ${({\mathbf{G}}^{\prime }]}_{(-\stackrel{̂}{n})\times 2}$ 实现作为row-column下标的最大值与non-associated行然后作为输出,设置一些接受了, ${\mathbf{G}}_{\mathrm{一个}}^{\prime }$ ,或拒绝 ${\mathbf{G}}_r^{\prime }$ $(≔{\mathbf{G}}^{\prime }\backslash {\mathbf{G}}_{\mathrm{一个}}^{\prime })$ 。在过滤过程中,考虑到已经建立通讯, $\stackrel{̂}{\mathbf{G}}$ 相关,丢弃可能对应本地刚性(从嵌入式获得最高例如函数与k_一个邻居)仍在继续,直到没有刚度比u_l。

使用reward-penalty表、Δ一点(收购行操作的最大价值差异化降序排序行原(un-updated)相似矩阵),年代SimUpdater更新的吗算法1在三种方法用三个参数说,报答和笔如下:1)禁用:对于新添加相应的补丁,相关联的行和列被设置禁用所有元素−正无穷。2)奖励:建立通信时,的元素年代组合与邻居们通过使用Δ递增。3)惩罚:拒绝了递减对应处罚相关使用Δ相似性得分。

在更新年代,附加到新建立的通讯 $\stackrel{̂}{\mathbf{G}}$ ,和采用机制确保不低于当前正确的对应地方上界。在没有接受函授,两个上界更新需要继续增加上界允许正确的但largely-deformed补丁匹配。

达到全球刚度的优化进程终止总上限。

6源经

6.1 Correspondence-wise转换

的有用的副产品(提出优化方案算法1centroid-wise目标源的旋转, ${\mathbf{R}}_{我}^{\mathit{t2}}$ 每个通信我逆的 ${\mathbf{R}}_{我}^{\mathit{s2t}}={({\mathbf{R}}_{我}^{\mathit{t2}})}^{-1}$ 是所需的旋转变换源质心的位置相应的目标。使用匹配的质心的位置,相关的翻译是:

的变换矩阵, ${\mathbf{T}}_{我}^{\mathit{s2t}}$ ,将我th匹配源质心到相应的目标是获得的 ${\mathbf{T}}_{我}^{\mathit{s2t}}=\left[\begin{array}{cc}{\mathbf{R}}_{我}^{\mathit{s2t}}& {\mathbf{t}}_{我}^{\mathit{s2t}}\\ 0_{1\times 3}& 1\end{array}\right]$ 。

6.2转换传播

通过这些转换,源的分pointcloud附近的一个匹配源质心影响比例对质心的距离。鉴于所有匹配源质心的集合, $\mathbf{米}(\stackrel{̂}{\mathbf{Y}})=\{{\mathbf{米}}_{{\stackrel{̂}{\mathrm{y}}}_{我}}|{\stackrel{̂}{\mathrm{y}}}_{我}\in \stackrel{̂}{\mathbf{Y}}\}$ 的指标k_p匹配源质心毗邻查询源点p_我所示的一个(p_我)。因此,k_p最近的形心点p_我是:

在那里, ${\mathbf{米}}_{\mathbf{一个}({\mathbf{p}}_{我})}\subset {\mathbf{米}}_{\stackrel{̂}{\mathbf{Y}}}\subset \mathbf{米}$ 。的每一点pointcloud可能有几个已经匹配的重心在其附近,应该是改变了基于加权插值的相邻的转换。重量,w收到影响,反映了从邻匹配的重心。根据希伯(2017)插值(松散说平均)两个变换的函数SE (3)是一个曲线,遵循两个转换之间最短的测地线路径。加权平均multi-transformation通过扩展他们的工作,转换了p_我计算, ${\bar{\mathbf{T}}}_{{\mathbf{p}}_{我}}={\text{大街}}_{\mathit{SE3}}({\mathcal{T}}_{{\mathbf{p}}_{我}},{\mathbf{W}}_{{\mathbf{p}}_{我}})$ ,在那里 ${\mathcal{T}}_{{\mathbf{p}}_{我}}=({\mathbf{T}}_{{\mathrm{一个}}_j}^{\mathit{s2t}}|j=1:k_p)$ 和 ${\mathbf{W}}_{{\mathbf{p}}_{我}}=(w_{{\mathrm{一个}}_j}|j=1:k_p)$ 。对于权重,我们选择了嵌入式变形加权方案(萨姆纳et al ., 2007)的重量K相邻的重心我计算: $w_{{\mathrm{一个}}_j}=1-{‖{\mathbf{p}}_{我}-{\mathbf{米}}_{{\mathrm{一个}}_j}‖}_2^2/d_{\mathrm{马克斯}}$ 在哪里d_马克斯这是距离k_p+ 1的重心 $w_{{\mathrm{一个}}_j}\leftarrow \frac{w_{{\mathrm{一个}}_j}}{{\sum }_{我=1}^{k_p}{w}_{{\mathrm{一个}}_{我}}}$ 。然后,考虑到 ${\bar{\mathbf{T}}}_{{\mathbf{p}}_{我}}=\left[\begin{array}{cc}{\bar{\mathbf{R}}}_{{\mathbf{p}}_{我}}& {\bar{\mathbf{t}}}_{{\mathbf{p}}_{我}}\\ 0_{1\times 3}& 1\end{array}\right]$ ,新源点的位置我是计算 ${\tilde{\mathbf{p}}}_{我}={\bar{\mathbf{R}}}_{{\mathbf{p}}_{我}}{\mathbf{p}}_{我}+{\bar{\mathbf{t}}}_{{\mathbf{p}}_{我}}$ 和扭曲源寄存器的目标 $\tilde{\mathcal{P}}={\bigcup }_{我=1}{\tilde{\mathbf{p}}}_{我}$ 。

7实验结果

在本节中,我们提出我们的实验结果在两种类型的模拟和实际数据集。robustify协会,我们使用两个连接镜头描述符(收益率704 - d特征向量)每点,大的和小半径为小型和大型几何特性。在本节中,实验两个半径,并n₀将0.02米,0.05米,分别和10。同时,我们两个k_一个和k_p到10。

7.1模拟数据

的定量评价框架进行动画三维模型的点与一个特定的标识符相关联的代码。因此,每个点代表一个特定的部分表面同样的指数3 d模型的帧到帧动画,所示图4执行,与有界双调和重量(雅各布森et al ., 2011),产生一个平滑的变形。图4一展示了30种不同的变形通过该方法生成的手。通过运行我们的管道23894点的数据集,并选择平均数量的100点包含在分区,总共266软分区生成的源和目标。显示优化的鲁棒性,检测对应的发音,和清晰度7本数据集描述的质心代表的补丁图4 b。

通过扭曲所有点的清晰度我(来源)我使用通讯+ 1(目标),会有一些偏差对目标点的实际位置。盒子与错误相关的情节点注册29对点云所示图4 c。在这些29实验,建立了对应的平均数量是210的280软斑块平均100年实现迭代。

定量与地面实况在另一个实验中,我们比较了性能的方法Zampogiannis et al。(2019),这是可用的香菜库(Zampogiannis et al ., 2018)。在这个实验中,我们的目标是创造类似条件的捕获过程用一个固态激光相机(例如,使用Realsense l515)的输出点云是在变形部分重叠。在这个实验中,我们使用变形的人体数据集与地面真理(与有界再次生成双调和的重量(雅各布森et al ., 2011),每个点的表面具有相同的指数在不同的动画帧。模拟一个固定深度传感器运用光线跟踪算法(斯金纳et al ., 2014),点云与不同变形被安置在传感器前面的迭代,和光线追踪的结果帧1,2,4,6,8,10中显示图5与相关的彩色图帧。使这个实验更现实、传感器噪声模拟采用零均值高斯噪声标准差的2毫米的方向表面正常的每一点。

在这个过程中,最初的指数(从原始清晰度)的光线追踪点保存。评估方法的处理性能的不同数量的变形,我们成对第一(目标)点云与其他(源),给注册5双点云。喂养这些对我们的管道和非刚性的ICP,我们第一次发现目标的对应点和源(共享相同的原始指标),然后这些对应点的绝对距离测量的扭曲源到目标。偏离的箱线图地面真理与我们的管道(垃圾邮件)和非刚性的ICP中说明了图6,横轴表示实验对和纵轴代表了偏差从地面真理米。盒子里的情节,盒子的底部和顶部边缘表明第25和第75百分位数,分别;中央标志显示中值;和异常值是由“+”符号表示。均方根误差(RMSE)从这些实验显示在获得图7。

7.2真实数据

我们使用VolumeDeform数据集(Innmann et al ., 2016),其中包含各种各样的可变形物体,来评估我们的方法定性的性能。我们的框架能够注册扫描用大量时间差异,表明优化方案的鲁棒性补丁柔性本地和全球通信对大变形。来演示这个功能,我们使用两个pointclouds向日葵数据集30帧。扫描down-sampled,划分为软斑块(平均200分),然后于95年建立了相应的补丁(125年和139年的软斑块的目标和源)。软分区概念可视化图8。

我们部署管道在节礼数据集;图9 a, B显示生成的图对应的质心和边8邻居质心(或者说补丁质心)目标和源。图9 d显示了目标变形到源通过相邻的平均转换重心点。

虽然我们建议的方法的重点是离线CPU-based非刚性的登记(而不是重建或融合),我们定性比较垃圾的性能与Surfelwarp注册连续帧(高和Tedrake, 2019)。为了这个目的,我们使用一个简单的迭代注册和融合方案。当前帧被认为是以前所有帧的源和合并后的模型作为目标(类似于一个标准帧)。每次迭代的目标是,向新注册并经规范化框架框架。通过使用拳击数据集,我们合并的扭曲与新扫描迭代重建模型。变形不大,这个数据集的开始,从40到200年,我们使用帧和重建的结果帧从两种方法获得的100年和200年进行比较图10显示了可接受的忠诚和重建模型的一致性通过垃圾邮件到当前帧。值得一提的是,每个CPU-based注册这个数据集的平均时间是120年代。

与上面相同的条件下,我们尝试在170年连续扫描的奴才数据集,和三个注册所示的结果图1。第二列是当前帧,第三列是重建模型,第四列是两个pointclouds提到的注册。

8的结论

我们已经设计了一个框架(垃圾邮件)建立通讯两个非刚性的变形点云用软补丁和局部刚性变换的聚合。我们的框架是评估在一个具有挑战性的VolumeDeform数据集能够注册扫描用大量时间差异,表明优化方案的鲁棒性补丁柔性本地和全球通信对抗严重变形。然而,在弯曲的表面,欧几里得距离传播是一个次优选择补丁转换点元素。改组和优化我们的框架在测地距离是一个可行的选择,我们计划的扩展我们的工作。通过提高优化方法,我们计划把这个管道作为一种实时的方法。

数据可用性声明

在这项研究中提出的数据集可以在网上找到存储库。库的名称/存储库和加入号码可以找到(s)如下:https://spamregistration.github.io/spamdataset/。

作者的贡献

BM:原始作者设计了算法和实验。他也负责撰写部分1- - - - - -5的纸。第五节射频:理论贡献,生成一些数据集的实验,并帮助写的部分4- - - - - -6的纸。TV-C和AA:监督项目和提供指导,反馈项目的方方面面,并帮助与写作部分1,2,8的纸。所有作者列出了一大笔,直接和知识贡献的工作,批准发布。

资金

本文支持资金来自澳大利亚肉类和牲畜(MLA)授予B.GBP.0051数量。这项工作是可能的,由于金融和孩子许多人的支持和努力从新南威尔士州主要产业部门,悉尼科技大学,澳大利亚当地土地服务,和肉类和牲畜。

的利益冲突

作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

引用