LVAC:学会了体积属性为点云压缩使用基于坐标的网络

1介绍

最近成功的隐式网络,a·基于坐标网络(cbn),在代表各种各样的信号,如神经光辉字段(米尔登霍尔et al ., 2020;a . et al ., 2021年;巴伦et al ., 2021;海德曼et al ., 2021;Knodt et al ., 2021;Srinivasan et al ., 2021;Zhang et al ., 2021),点云(藤原和桥本,2020)、网格(公园et al ., 2019;梅什德et al ., 2019;Sitzmann et al ., 2020;马特尔et al ., 2021;Takikawa et al ., 2021),图片(马特尔et al ., 2021),一个端到端的压缩框架表示使用cbn已成为不可避免的必要。出于这一点,我们首先提出了端到端学习压缩体积函数框架由cbn与其他注重点云属性表示缺乏与基线。我们叫我们的方法学会了体积属性压缩(LVAC)。潜在的3 d点云是一个基本数据类型抽样,因此发挥重要作用在地图和导航等应用,虚拟和现实增强技术,远程监控,和文化遗产保护,依靠采样3 d数据(Mekuria et al ., 2017;公园et al ., 2019;Pierdicca et al ., 2020;太阳et al ., 2020)。鉴于这样的应用程序的数据量,压缩存储和沟通是很重要的。事实上,点云压缩标准MPEG和JPEG(正在发生的施瓦兹et al ., 2019;张成泽et al ., 2019;Graziosi et al ., 2020;3 dg, 2020)。

三维点云,如所示图1,每个包含一组点{(x_我,y_我)},x_我的3 d位置吗我th点和y_我是一个向量与点相关联的属性。属性通常包括颜色组件,例如,RGB,但也可能包括反射,法线,透明度,密度,球函数等等。一般(Zhang et al ., 2014;科恩et al ., 2016;德奎罗斯和周,2016年;塔et al ., 2016;德奎罗斯和周,2017年;Pavez et al ., 2018;施瓦兹et al ., 2019;周et al ., 2020;Krivokuća et al ., 2020),点云压缩分为两个步骤:点云压缩的位置,称为几何,点云的压缩属性。见图2,一旦解码器解码几何与损失(可能),编码器编码解码几何属性条件。在这项工作中,我们专注于第二步,即属性压缩解码几何条件,假设几何压缩(如Krivokuća et al ., 2020;唐et al ., 2020)的第一步。重要的是要注意,这个条件是至关重要的实现压缩好的属性。这将成为本文的主题之一。

神经网络在图像压缩中的应用成功后Balle et al ., 2016;Toderici et al ., 2016;Balle et al ., 2017;Toderici et al ., 2017;Balle 2018;Balle et al ., 2018;Minnen et al ., 2018;Balle et al ., 2020;Mentzer et al ., 2020;胡锦涛等人。,2021年),神经网络已成功地用于点云几何压缩,展示重要的收益超过传统技术(燕et al ., 2019;Quach et al ., 2019;Guarda et al ., 2019 a,b;Guarda et al ., 2020;唐et al ., 2020;Quach et al ., 2020 b)。然而,同样不能说点云压缩属性。据我们所知,我们的工作是最早使用神经网络进行点云压缩属性。先前已经因为无法正确解码几何属性压缩,从而导致不良的结果。在我们的工作中,我们表明,适当的调节改善压缩性能属性BD-rate减少了30%。这导致一个增益为2 - 4 dB在重建的颜色region-adaptive线性变换(RAHT)编码(德奎罗斯和周,2016年),这是使用的“几何”点云压缩标准MPEG G-PCC。此外,我们比较我们的方法和最近的学习框架Deep-PCAC (盛et al ., 2021),这是不是体积3 - 5 dB,超越它。

虽然学习了图像压缩系统都是基于卷积神经网络(cnn),在这项工作我们使用什么被称为基于坐标的网络(cbn),也称为隐式网络。CBN网络,如多层感知器(MLP),其输入包括空间域的坐标,例如, $\mathbf{x}\in {\mathbb{R}}^3$ 。我们使用轻量级cbn mlp与一个隐藏层。保持CBN相对较小的提供(1)高效的培训/推理和(2)代表CBN的开销可以忽略不计。CBN可以直接代表一个非线性空间坐标的函数x,可能索引与潜在或特征向量z,因为y=f_θ(x)或y=f_θ(x;z)。cbn最近脱颖而出在准确地代表几何和空间辐射领域等现象。然而,尽管有爆炸使用cbn的工作代表特定的对象和场景(公园et al ., 2019;梅什德et al ., 2019;米尔登霍尔et al ., 2020;Sitzmann et al ., 2020;a . et al ., 2021年;巴伦et al ., 2021;海德曼et al ., 2021;Knodt et al ., 2021;马特尔et al ., 2021;Srinivasan et al ., 2021;Takikawa et al ., 2021;Zhang et al ., 2021),没有一个工作重点压缩那些表示。(两个例外可能是(鸟et al ., 2021;Isik 2021),这只是应用模型压缩cbn)。良好的有损压缩是重要的,必须忠诚之间的最优平衡的重建和使用的比特数的二进制表示。我们表明,天真的标量量化和熵编码的参数θ和/或潜在的向量z导致很差的结果,上级可以通过适当的结果标准正交化前均匀标量量化。此外,最好的率失真性能,熵模型和CBN必须共同训练减少损失函数,处罚不仅大变形(或错误),但大比特率。我们实现这一目标通过一个率失真拉格朗日损失。我们的主要贡献包括以下:

•我们是第一个体积压缩功能建模的基于网络的本地坐标通过执行一个端到端优化率失真的拉格朗日损失函数,从而提供可伸缩,高保真重建甚至在低比特率。我们表明,天真的均匀标量量化和熵编码导致糟糕的结果。

•我们应用框架来压缩点云的属性。(这也适用于其他信号如神经光辉领域,网格,和图像)。因此,我们是第一个压缩点云属性用立方氮化硼。我们的解决方案允许网络插入重建的属性不断跨空间,提供了一个2 - 5 dB改进我们的学习基线Deep-PCAC (盛et al ., 2021)和2 - 4 dB改进我们的直线基线,RAHT (德奎罗斯和周,2016年)与自适应扫描宽度Golomb-Rice (RLGR)熵编码变换在最新的MPEG G-PCC标准。

•我们展示公式orthonormalizing系数实现比特率减少30%。注意,适当的标准正交化是必不可少的(重要的)组件的所有压缩管道。

第二节简要概述我们的学习体积属性压缩(LVAC)框架没有进入细节,第三节介绍相关工作,第四节我们的框架细节,第五节报告实验结果,第六节讨论并总结。我们提供论文中使用的符号的列表补充表S1。

2框架的概述

这项工作的目标是开发一种体积属性点云压缩框架,使用解码几何作为边信息。RAHT等不同标准线性变换编码方法,我们的方法进行非线性插值通过学习体积函数神经网络建模。

我们的方法了图3,我们共同训练1)变换系数V点云的块,2)量化器stepsizes, 3)一个熵编码器,CBN 4)通过通过拉格朗日损失函数反向传播D+λR。在这里D是重建的属性之间的失真和真正的属性(颜色属性在这个工作),然后呢R是量子化的变换系数的熵估计 $\stackrel{̂}{\mathbf{V}}$ ,神经计算的熵模型,这是一个可微的“微分”熵编码器的代理。量子化的变换系数 $\stackrel{̂}{\mathbf{V}}$ 是逆转化通过一个线性合成矩阵T_年代在标准变换编码框架。不过,请注意,我们省略通常分析变换量化之前。这是因为我们直接学习转换系数V通过为每个点云优化¹。这些学会了变换系数V然后量化和综合到吗潜在的向量 $\stackrel{̂}{\mathbf{Z}}=({\stackrel{̂}{\mathbf{z}}}_{\mathbf{n}}]$ 图中所示。而合成的潜在的向量 ${\stackrel{̂}{\mathbf{z}}}_{\mathbf{n}}$ 块查询点驻留在可以输出为重建的属性,我们将更进一步,引入一个非线性操作:我们养活小神经网络,即CBN,合成潜在的向量和点的三维位置查询x。这个网络输出的属性,用于我们的变形计算。最后,我们计算拉格朗日损失估计率和失真,这损失是backpropagated通过所有的块图3。在第四节,我们将解释合成矩阵T_年代不是学习。然而,这是一个固定几何形状的函数,如RAHT。事实上,我们合成变换可以被视为RAHT合成变换操作潜在的向量,而不是属性。因此,我们潜在的压缩向量在几何条件方面的信息。所有组件除了合成矩阵变换系数等V、量化stepsizes熵模型和CBN共同训练通过拉格朗日损失函数,优化重建和比特率。

当我们深入的细节图3在下面几节中,我们试图解决以下问题:

•必须确保前的系数是orthonormalized量子化。否则,量化误差会积累在不同的频道。为了达到这个目标,我们需要引入标准正交化和量化前后de-orthonormalization步骤。

•量化和熵编码都是不可微操作。因此,我们需要利用diffentiable代理期间执行反向传播训练。

3相关工作

3.1了解图像压缩

使用神经网络良好的压缩是不平凡的。简单地删除现有的潜在的向量表示一定的比特数可能会失败,如果只是因为小量化潜在的错误可能容易映射到大型量子化错误的重建。此外,量化潜在的熵是一个更重要的决定因素的比特率比系数的总数在潜在的向量或二进制表示的比特数。早期工作学习了图像压缩几乎不能超过JPEG的率失真性能在低质量的32×32缩略图(Toderici et al ., 2016)。然而,多年来,率失真性能不断改善(Balle et al ., 2016;Balle et al ., 2017;Toderici et al ., 2017;Balle 2018;Balle et al ., 2018;Minnen et al ., 2018;Balle et al ., 2020;程et al ., 2020;胡锦涛等人。,2021年),最好的学习图像编解码器比最新的视频标准)阴道假丝(致病菌种及PSNR,尽管在更大的复杂性(郭et al ., 2021),大大优于传统的图像编解码器(超过2×降低比特率)在同一知觉扭曲(Mentzer et al ., 2020)。基本上所有当前竞争学习非线性变换编码的图像编解码器版本(Balle et al ., 2020),在这种瓶颈潜伏在一个auto-encoder均匀标量量化和熵编码,传输到解码器。解码器使用卷积神经网络作为合成变换。编解码器参数θ训练的端到端通过一个可微的量化器的代理,通常建模为添加剂均匀噪声。损失函数是Lagragianl(θ)=D(θ)+λR(θ),D(θ),R(θ)预期的扭曲和比特率。在这项工作中,我们使用类似的代理均匀标量量化和熵编码用于图像压缩和训练我们使用类似的损失函数表示。

3.2协调的基础网络

早期的工作,使用基于坐标的网络(公园et al ., 2019;梅什德et al ., 2019;Sitzmann et al ., 2020),以DeepSDF (公园et al ., 2019 b),专注于代表几何隐式地,例如,c水平的设置 $\{\mathbf{x}:c=f_{\theta }(\mathbf{x};\mathbf{z})\}\subset {\mathbb{R}}^3$ 的一个函数 $f_{\theta }:{\mathbb{R}}^3\times {\mathbb{R}}^C\to \mathbb{R}$ 由神经网络建模 $\mathbf{z}\in {\mathbb{R}}^C$ 是一个全球潜在的向量。因此这样的网络被称为“隐式”网络。大部分工作集中在auto-decoder架构,潜伏的向量z确定为每个实例通过反向传播损失函数。的损失函数l(θ,z)测量样品之间的点态误差f_θ(x_我;z)的网络和样本f(x_我)的地面真值函数,如距离函数(SDF)签署。

后来工作,cbn使用,以削弱(米尔登霍尔et al ., 2020;巴伦et al ., 2021),利用网络模型不是自卫队而是其他向量值,体积函数,包括颜色、密度、法线,双向反射参数和镜面反射特性(a . et al ., 2021年;海德曼et al ., 2021;Knodt et al ., 2021;Srinivasan et al ., 2021;Zhang et al ., 2021)。由于这些网络不再是隐式用于表示解决方案,他们的名字开始转向“基于坐标”网络,例如,(Tancik et al ., 2021)。从这个队列是一个重要的创新测量损失l(θ)的样本之间的点态f_θ和一些地面实况体积函数f之间,而是体积渲染(图片)f_θ和f,后者被地面实况图像渲染。

米尔登霍尔et al。(2020)专注于训练CBNf_θ(x全球)代表的是单一的场景,没有潜在的向量z。然而,后续工作转向使用CBN与不同的潜在的向量为不同的对象(Stelzner et al ., 2021;于H.-X。et al ., 2021);茶室et al ., 2022 a,b)或不同地区(即。,块or tiles) in the scene (陈et al ., 2021;DeVries et al ., 2021;马特尔et al ., 2021;梅塔et al ., 2021;赖泽et al ., 2021;Takikawa et al ., 2021;Rematas et al ., 2022;Tancik et al ., 2022;突厥语族的et al ., 2022)。现场分割成块,使用CBN与另一个潜在的向量在每个块,同时达到更快的渲染(赖泽et al ., 2021;Takikawa et al ., 2021)、高分辨率(陈et al ., 2021;马特尔et al ., 2021;梅塔et al ., 2021),和可伸缩性的场景的大小(DeVries et al ., 2021;Rematas et al ., 2022;Tancik et al ., 2022;突厥语族的et al ., 2022)。然而,这使得大部分负担表示在当地潜在的向量,而不是CBN的参数。这是类似于常见的基于块的图像表示,在相同的基函数集(例如,8×8 DCT)是用于每一块,和激活指定的基向量的向量基础系数,为每个块不同。

在这项工作中,我们三维空间分割成块(分层次使用树,类似于(a . et al ., 2021年;马特尔et al ., 2021;Takikawa et al ., 2021)),代表的颜色在每个块使用CBN体积f_θ(x;z),允许快速、高分辨率和可伸缩的重建。不像以前所有CBN的作品,然而,我们训练表示不仅适合有效的压缩通过变换编码和率失真拉格朗日损失函数。值得注意的是,(Takikawa et al ., 2022),它引用了我们的预印本Isik et al。(2021 b)最近调整我们的方法(虽然没有RD拉格朗日损失或正规化)使用固定矢量量化在变换系数频道。

3.3点云压缩

MPEG标准化两个点云编解码器:视频(V-PCC)和几何投影(G-PCC) (张成泽et al ., 2019;施瓦兹et al ., 2019;Graziosi et al ., 2020)。V-PCC是基于现有的视频编解码器,而G-PCC是基于新的,但在许多方面经典、几何方法。像以前的作品(Zhang et al ., 2014;科恩et al ., 2016;德奎罗斯和周,2016年;塔et al ., 2016;德奎罗斯和周,2017年;Pavez et al ., 2018;周et al ., 2020;Krivokuća et al ., 2020),首先V-PCC和G-PCC几何压缩,然后压缩属性在几何条件。神经网络与一些成功应用了几何压缩(燕et al ., 2019;Quach et al ., 2019;Guarda et al ., 2019 a,b;Guarda et al ., 2020;唐et al ., 2020;Quach et al ., 2020 a;米拉尼2020,2021年;Lazzarotto et al ., 2021),但不有损压缩属性。例外可能包括(Quach et al ., 2020 b),它使用学习神经3 d→2 d折叠,但与传统图像压缩编码,和Deep-PCAC (盛et al ., 2021),压缩属性使用PointNet-style体系结构,这是不是体积和表现不佳2 - 5 dB(见我们的框架图12 b和补充材料)。G-PCC中的属性压缩使用线性变换,适应基于几何。一个核心变换是region-adaptive层次变换(RAHT) (德奎罗斯和周,2016年;Sandri g . p . et al ., 2019),它是一个线性变换,对离散正交测量的质量是把点云几何(Sandri et al ., 2019 a;周et al ., 2020)。因此RAHT压缩属性在几何条件。除了RAHT, G-PCC使用预测(RAHT系数)和联合熵编码获得优越的性能(Lasserre和弗林,2019年;3 dg 2020 b;Pavez et al ., 2021)。最近(方et al ., 2020)使用神经方法无损RAHT变换系数的熵编码。我们的工作超过了RD性能的经典RAHT 2 - 4 dB通过引入学习非线性体积功能的灵活性。我们的方法是正交的预测和熵编码(Lasserre和弗林,2019年;3 dg 2020 b;Pavez et al ., 2021;方et al ., 2020)和所有结果可以改善通过使用这些技术的组合。

4 LVAC框架

4.1体积表示的方法

一个实值(或真正的向量值)函数 $f:{\mathbb{R}}^d\to {\mathbb{R}}^r$ 据说是体积如果d= 3。一个体积函数f可能会被另一个体积近似函数f_θ在体积函数的参数家庭{f_θ:θ∈Θ}通过最小化一个错误d(f,f_θ)/θ∈Θ。假设 ${\{({\mathbf{x}}_{我},{\mathbf{y}}_{我})\}}_{我=1}^{N_p}$ 点云点位置吗 ${\mathbf{x}}_{我}\in {\mathbb{R}}^3$ 和点属性 ${\mathbf{y}}_{我}\in {\mathbb{R}}^r$ 。点云压缩属性接近体积的函数f:x_我↦y_我通过寻找最优或接近最优参数θ。不同的点云是由不同的体积属性功能f。因此LVAC包括学习的编码程序参数θ对于给定的点云。

一个简单的例子是线性回归。一个仿射函数y=f_θ(x)=斧头+b,θ= (一个,b),可能适合的数据通过最小化平方误差d(f,f_θ)=为f−f_θ为²=∑_我为f(x_我)−f_θ(x_我为每²在θ。虽然一个线性或仿射体积函数可能无法充分代表颜色的点云的复杂的空间排列类似图1,两种策略可以用来改善:

1)首先是扩大f_θ功能的家庭,例如,代表f有表现力的cbn。LVAC完成通过使用神经网络和通过增加网络参数的数量。我们在以下部分更详细地描述这个扩张。

2)二是现场分割成块。当限制分区,功能可能更少的复杂性和适合没有爆炸的数量可能达到在CBN网络参数。LVAC分区点云的边界框成立方体块。每一块与一个潜在的向量,这是美联储f_θ作为附录,作为当地的一个参数。下一节详细介绍如何使用这些潜在的向量。

4.2潜在的向量

在LVAC, 3 d体积划分为块 ${\mathcal{B}}_{\mathbf{n}}$ 就像在图3。的属性y_我在一块 ${\mathcal{B}}_{\mathbf{n}}$ 在抵消n符合一个体积函数吗y=f_θ(x−n;z_n)由一个简单的CBN,转移到抵消n。CBN参数θ学会了为每个点云。除了全球参数θ,每一块 ${\mathcal{B}}_{\mathbf{n}}$ 供应自己的潜在的向量z_n,选择确切的体积函数f_θ(⋅;z)使用的块。的作用θ是选择亚科为每个点云体积函数最好。的作用z最好是选择亚科的成员对于每个块,并作为本地参数。这个过程了图3。整体体积函数可以表示为

在所有块偏移量和在哪里n, ${\mathbb{1}}_{{\mathcal{B}}_{\mathbf{n}}}$ 块的指标函数吗 ${\mathcal{B}}_{\mathbf{n}}$ (例如, ${\mathbb{1}}_{{\mathcal{B}}_{\mathbf{n}}}(\mathbf{x})=1$ 敌我识别 $\mathbf{x}\in {\mathcal{B}}_{\mathbf{n}}$ ),Z= (z_n矩阵的行z_n块的潜在的向量。

对点云进行压缩的属性{y_我}由于几何{x_我},LVAC压缩和传输Z并有可能θ作为量化的数量 $\stackrel{̂}{\mathbf{Z}}$ 和 $\stackrel{̂}{\theta }$ 使用 $R(\stackrel{̂}{\theta },\stackrel{̂}{\mathbf{Z}})$ 位。这通信容量功能 $f_{\stackrel{̂}{\theta },\stackrel{̂}{\mathbf{Z}}}$ 译码器。译码器可以使用 $f_{\stackrel{̂}{\theta },\stackrel{̂}{\mathbf{Z}}}$ 重建的属性y_我在每一个点的位置x_我作为 ${\stackrel{̂}{\mathbf{y}}}_{我}=f_{\stackrel{̂}{\theta },\stackrel{̂}{\mathbf{Z}}}({\mathbf{x}}_{我})$ ,导致变形

译码器也可以使用 $f_{\stackrel{̂}{\theta },\stackrel{̂}{\mathbf{Z}}}(\mathbf{x})$ 重建的属性y在一个任意的位置 $\mathbf{x}\in {\mathbb{R}}^3$ 。LVAC最小化畸变 $D(\stackrel{̂}{\theta },\stackrel{̂}{\mathbf{Z}})$ 比特率的限制, $R(\stackrel{̂}{\theta },\stackrel{̂}{\mathbf{Z}})\le R_0$ 。这是通过最小化拉格朗日 $J(\stackrel{̂}{\theta },\stackrel{̂}{\mathbf{Z}})=D(\stackrel{̂}{\theta },\stackrel{̂}{\mathbf{Z}})+\lambda R(\stackrel{̂}{\theta },\stackrel{̂}{\mathbf{Z}})$ 对于一些拉格朗日乘子λ> 0匹配R₀。

在我们的工作,感兴趣的政权θ大约有250 - 10 K参数,Z大约有500 k - 8 M的参数。因此,本文的焦点是压缩的Z。我们假设简单的CBN参数化θ可以使用模型压缩的压缩工具,例如,(鸟et al ., 2021;Isik 2021),几位/参数几乎没有性能损失。另外,我们假设CBN可以训练概括在许多点云,从而消除传输的需要θ。在第5部分中,我们探讨保守每一个假设的性能界限。然而,在这一节中,我们关注的向量的压缩Z= (z_n]。

我们首先描述的线性组件框架,许多传统方法份额(德奎罗斯和周,2016年;Sandri et al ., 2018,Sandri et al ., 2019 g P。;Krivokuca et al ., 2021;Pavez et al ., 2021),然后讨论如何实现先进的有额外的cbn引入的非线性压缩和端到端优化率失真的拉格朗日损失通过反向传播。

4.2.1线性组件准备

RAHT (德奎罗斯和周,2016年)和跟踪(Sandri et al ., 2018,Sandri et al ., 2019 g P。;Krivokuca et al ., 2021;Pavez et al ., 2021),属性点云压缩的问题可以建模为分段常数的压缩体积函数,

这是一样的(1)用一个非常简单的CBN:f_θ(x;z)=z。对于线性的情况,每一个潜在的 ${\mathbf{z}}_{\mathbf{n}}\in {\mathbb{R}}^3$ 直接代表一个颜色,在块是恒定的 ${\mathcal{B}}_{\mathbf{n}}$ 。很明显,平方误差为f−f_Z为²最小化通过设置每一个吗z_n平均(DC)的颜色点的价值 ${\mathcal{B}}_{\mathbf{n}}$ 。是低效率的量化和熵编码的颜色Z= (z_n)直接转换成一个域之间重要的(DC)和不重要的组件。因此,公约是首先变换N×C矩阵Z使用geometry-dependentN×N分析变换T_一个,获得N×C矩阵的变换系数V=T_一个Z,其中大部分可能接近于零。(N块的数量吗 ${\mathcal{B}}_{\mathbf{n}}$ 这是被占领的,即,that contain points, andC是潜在的数量特性。)然后V是量子化的, $\stackrel{̂}{\mathbf{V}}$ 有效熵编码。最后 $\stackrel{̂}{\mathbf{Z}}={\mathbf{T}}_{\mathrm{年代}}\stackrel{̂}{\mathbf{V}}$ 恢复使用合成变换 ${\mathbf{T}}_{\mathrm{年代}}={\mathbf{T}}_{\mathrm{一个}}^{-1}$ 。

分析和合成变换T_一个和T_年代定义的层次空间分区表示为一棵二叉树。树的根(水平ℓ= 0)对应于一个大的块 ${\mathcal{B}}_{0,\mathbf{0}}$ 包含整个点云。树的叶子(水平ℓ=l)对应N块 ${\mathcal{B}}_{l,\mathbf{n}}={\mathcal{B}}_{\mathbf{n}}$ 在方程(3)体素的voxelized点云。之间,每一层ℓ= 0,1,…,l−1,每个占领块 ${\mathcal{B}}_{\ell ,\mathbf{n}}$ 在层次ℓ分为左和右子块的大小,说什么 ${\mathcal{B}}_{\ell +1,{\mathbf{n}}_l}$ 和 ${\mathcal{B}}_{\ell +1,{\mathbf{n}}_R}$ 在水平ℓ+ 1。沿着要么分裂x,y,或z轴取决于ℓ国防部3 = 0、1或2。唯一的孩子块被任意点的点云在树上被保留。进行线性分析变换T_一个Z,一个人可以从级开始ℓ=l−1和工作水平ℓ= 0,计算每一块的平均(DC)值 ${\mathcal{B}}_{\ell ,\mathbf{n}}$ 作为

在哪里 $w_{{\mathbf{n}}_l}=w_{\ell +1,{\mathbf{n}}_l}$ 和 $w_{{\mathbf{n}}_R}=w_{\ell +1,{\mathbf{n}}_R}$ 是权重或者点,左和右子块 ${\mathcal{B}}_{\ell ,\mathbf{n}}$ 。全球直流整个点云的价值z_0,0。在这个过程中,每个子块的直流值之间的差异及其母公司计算

这些差异都接近于零和高效的熵编码。变换系数矩阵V=T_一个Z由全球直流值z_0,0在第一行N−1右子差异 $\delta {\mathbf{z}}_{\ell +1,{\mathbf{n}}_R}$ 在(5)式。在剩余的行。

执行线性合成变换T_年代V,一个人可以从级开始ℓ= 0和工作水平l−1计算左子差异 $\delta {\mathbf{z}}_{\ell +1,{\mathbf{n}}_l}$ (5)式。从右子差异 $\delta {\mathbf{z}}_{\ell +1,{\mathbf{n}}_R}$ (5)式。在V使用约束

这是来自(4)式。使用(5)式。。的方程(5)式。是反向的获得 ${\mathbf{z}}_{\ell +1,{\mathbf{n}}_l}$ 和 ${\mathbf{z}}_{\ell +1,{\mathbf{n}}_R}$ 从z_ℓ,n,最终计算的值z_l,n=z_n块的水平l。

矩阵的表达式T_一个和T_年代可以从上面的线性运算。特别是,它可以显示的每一行T_年代计算的颜色z_l,n一些叶子的体素 ${\mathcal{B}}_{l,\mathbf{n}}$ 通过总结颜色z₀的根块颜色差异δz_ℓ水平的细节ℓ= 1,…,l从根到叶子。在量化步骤的一个挑战是每个变换系数V=T_一个Z需要不同的量化步骤,即。,un如果orm quantization would be suboptimal, since important coefficients should be quantized with finer precision. We can avoid this complication by orthonormalizingT_一个和T_年代。事实上,T_一个和T_年代可以通过由一个对角矩阵乘法orthonormalized吗年代=诊断接头(年代₁、…年代_N),在那里。

在元素年代₁的年代对应于行之一V(全球直流值z_0,0)和元素年代_米的年代对应于行米> 1的V(右子不同 $\delta {\mathbf{z}}_{\ell +1,{\mathbf{n}}_R}$ )。也就是说,年代⁻¹T_一个和T_年代年代是标准正交(和转置)。这意味着每一行的归一化系数 $\bar{\mathbf{V}}={\mathbf{年代}}^{-1}\mathbf{V}$ 现在应该量化统一用相同的步长Δ或等价的行非规范系数V=T_一个Z应该与比例量化步骤大小年代_米Δ。这个比例是至关重要的,因为它更精确地量化系数,更重要。更重要的系数通常与街区以更多的分。

4.2.2非线性组件

现在,我们提供更多细节在非线性组件框架和它们是如何共同优化(学)与线性组件在循环来量化和熵编码的向量 ${\mathbf{z}}_{\mathbf{n}}\in {\mathbb{R}}^C$ (现在C通常≫3)块 ${\mathcal{B}}_{\mathbf{n}}$ 在(1)式。。

LVAC执行联合优化失真和比特率通过查询点x在一个目标水平的细节l-减少(即。,coarser) than the voxel level. Thus the blocks ${\mathcal{B}}_{l,\mathbf{n}}$ 不仅包含一个点说N_x×N_y×N_z体素,只占据了其中一些。的属性(通常情况下,颜色)占领了体素 ${\mathcal{B}}_{l,\mathbf{n}}$ 由体积函数f_θ(x−n;z_n)CBN的水平l更好的模型属性在块在特定比特率比纯粹的线性变换,如(德奎罗斯和周,2016年;Sandri et al ., 2018,Sandri et al ., 2019 g P。;Krivokuca et al ., 2021;Pavez et al ., 2021)。由于潜在的向量 ${\mathbf{z}}_{\mathbf{n}}\in {\mathbb{R}}^C$ 本身并不是占领了像素点的属性,它们不能直接输入编码器(看到了吗图3)。因此,编码器不能应用分析的变换T_一个来Z= (z_n)获得变换系数V。相反,LVAC学习V通过反向传播,没有一个明确的T_一个,首先通过变形测量和体积函数(2),然后通过合成变换T_年代和扩展矩阵年代。系数θCBN的共同同时进行了优化。学习给LVAC优化的机会V不仅减少失真D,(我。e,优化适合模型的数据),但最终的率失真降到最低的目标D+λR,这样可以最大限度减少失真比特率限制。

图4显示了压缩管道生产 $\stackrel{̂}{\mathbf{Z}}=({\stackrel{̂}{\mathbf{z}}}_{\mathbf{n}}]$ 从V通过利用bp必须执行。的对角矩阵年代(定义在(方程式。7,8)尺度系数V生产 $\bar{\mathbf{V}}={\mathbf{年代}}^{-1}\mathbf{V}$ 跨渠道,但是是恒定的c= 1,…,C。的对角矩阵Δ=诊断接头(Δ₁Δ,…_C大小Δ)适用不同的步骤_c在每个频道 $\bar{\mathbf{V}}$ 生产 $\mathbf{U}=\bar{\mathbf{V}}{\mathbf{\Delta }}^{-1}$ ,但在系数是常数。量化器轮真正的矩阵Uelementwise产生整数矩阵 $\stackrel{̂}{\mathbf{U}}=\lfloor \mathbf{U}\rceil$ ,然后熵编码产生一个位串的长度R在总。整数矩阵 $\stackrel{̂}{\mathbf{U}}$ 也改变了Δ,年代,T_年代按顺序生产 $\stackrel{̂}{\mathbf{Z}}={\mathbf{T}}_{\mathrm{年代}}\mathbf{年代}\stackrel{̂}{\mathbf{U}}\mathbf{\Delta }$ 。注意,可学的参数图4是V,Δ和参数的熵编码器。如果我们优化数学并不重要V或规范化的版本 $\bar{\mathbf{V}}=\mathbf{年代}\mathbf{V}$ 。在我们的实现中,我们优化 $\bar{\mathbf{V}}$ 。

量化器和熵编码器没有可微的,他们必须取而代之的是可微的代理在优化。有各种量化器可微的代理(Balle et al ., 2017;Agustsson和赛思,2020年;罗et al ., 2020),我们使用代理

在哪里Wiid unif (−0.5, 0.5)。各种微代理的熵编码器也是可能的。在熵编码的比特数U= (u_米,c),我们使用代理 $R(\mathbf{U})=-{\sum }_{米,c}{\mathrm{日志}}_2{p}_{{\varphi }_{\ell ,c}}(u_{米,c})$ ,在那里

(Balle et al ., 2017)。CDF实验组的由神经网络建模与参数ϕ_ℓ,c这取决于通道c和水平ℓ(但不是偏移量n)的系数u_米,c。在推理时,比特率R(⌊U⌉)而不是R(U)。这些函数是连续成批的熵(所提供的cbe)模型(Balle et al ., 2021)。

Δ注意参数_c以及参数ϕ_ℓ,c,尽管ℓ和c必须传输到解码器。然而,传输Δ的开销_c是可以忽略不计,传输的开销吗ϕ_ℓ,c可以通过使用backward-adaptive熵在推理时的代码。(见5.4节)。

4.3基于坐标的网络

可以使用任何CBN LVAC框架,但在我们的实验我们通常用一个两层的中长期规划,

在哪里θ= (b³,W^3×H,b^H,W^{H×(3 +C)}),H是隐藏的数量单位,σ(⋅)逐点的整改(ReLU)。(这里我们取x,y,z是列向量而不是我们使用的行向量。)注意,没有位置编码x。另外,我们使用一个两层position-attention(PA)网络,

在哪里θ= (b³,b^C,W^C×3)和⊙逐点的乘法。巴勒斯坦权力机构网络是一个简化版的调制周期激活(梅塔et al ., 2021),与许多参数少于mlp而有效的表示在低比特率。

一旦潜在的向量Z= (z_n)解码的 $\stackrel{̂}{\mathbf{U}}$ 作为 $\stackrel{̂}{\mathbf{Z}}=({\stackrel{̂}{\mathbf{z}}}_{\mathbf{n}}]$ 和θ是解码 $\stackrel{̂}{\theta }$ 的属性 $\stackrel{̂}{\mathbf{y}}$ 的任何时候 $\mathbf{x}\in {\mathbb{R}}^3$ 可以查询见图3。

5实验结果

5.1数据集和实验细节

数据集(我)由7个完整的人体voxelized点云来自网格中创建(郭et al ., 2019;Meka et al ., 2020所示)(图1)和(2)7点clouds-four完整的人体和三个艺术MPEG PCC数据集的对象(d 'Eon et al ., 2017;Alliez et al ., 2017)(见补充材料)。使用整数立体像素坐标点的位置x_我。体素(因此点位置)有10位分辨率。这导致一个八叉树深度10,或者一个二叉树的深度30,每点云。对于大多数的实验,我们训练所有变量(潜伏,一步大小,每二进制级别的熵模型,和CBN在目标水平l)在一个单一的点云,变量是特定于每个点云。然而,对于泛化实验在5.4节,我们训练只是潜在的,大小,和熵模型在给定的点云,在使用上的CBN pre-trained不同的点云。额外的实验给出的细节补充材料。

整个点云构成一批。所有的配置都是训练大约25 K步骤优化器使用亚当和学习速率为0.01,较低的比特率配置通常收敛的时间更长。每一步需要0.5 - -3.0年代的NVIDIA GPU P100类急切的模式与各种调试检查到位。我们将开源的代码https://github.com/tensorflow/compression/tree/master/models/lvac/在出版。

如下实验结果显示,不同的相对性能收益LVAC配置和基线在很大程度上是一致的对所有人体点云以及对象点云。这种一致性的部分原因可能是所有变量在LVAC训练在给定的点云;因此LVAC instance-adaptive(在我们的泛化研究除外)。没有平均情况模型训练以适应所有点云。因此我们期望一致的行为在其他类型的点云,如房间扫描。然而,我们承认,某些类型的点云,如动态获取的激光雷达点云,可能有特殊的结构,不利用我们的框架。事实上,MPEG G-PCC有特殊的编码模式的点云。

5.2基线

5.2.1 RAHT

我们的第一个基线是RAHT, MPEG G-PCC核心变换,再加上自适应扫描宽度Golomb-Rice (RLGR)熵编码器(Malvar 2006)。图5一个显示了率失真(RD)的性能RAHT + RLGR在RGB PSNR (dB) vs。比特率(位/点或bpp)。PSNR值是衡量质量的更高更好。在RAHT + RLGR,RAHT系数均匀标量量化。水平的量化系数是连接从根到叶子和熵编码使用RLGR,为每种颜色组件独立。RD表演使用RGB和YUV颜色空间所示(BT.709)图5一个分别用蓝色填充和空标记。在低比特率,在RGB PSNR YUV提供了一个重要的获得,但这在高比特率下降。

5.2.2 Deep-PCAC

作为一个二次基线,我们提供一个与Deep-PCAC (盛et al ., 2021),查查图5 b。如前所述,Deep-PCAC基于PointNet,这不是体积。因此,它不能用于其他场景如光辉领域还缺乏点云特征,如无限放大。我们仍然比较LVAC Deep-PCAC只是表明学点云压缩属性不是微不足道的,要求所有我们讨论了这项工作的关键步骤。

5.2.3线性LVAC

最后,水平= 30,= cbe +线性模型(3×3)图5一个显示了我们的RD性能LVAC框架三路时潜在的(C= 3)量化和熵编码使用连续成批的熵(cbe)模型与嘈杂的深刻映像之前从Tensorflow压缩(Balle et al ., 2021)紧随其后的是一个简单的3×3 CBN线性矩阵,在二进制目标30级。这个简单的线性模型的性能的同意RAHT-RLGR(YUV在低利率),优于高。因此,它是有用的作为一个伪基线,我们显示它在所有后续情节与我们的第一个基线RAHT-RLGR(RGB)。图5一个还表明,在目标水平较低(21)27日,24日,LVAC 3×3矩阵在高饱和烃,自3×3矩阵没有位置输入,因此代表了在每一块体积属性函数作为一个常数。这些常数函数作为更复杂的cbn这些基线水平,描述下一个。

可以用类似的观察的情节补充材料其他10个点云。替代基线被认为是在5.9节。

5.3协调的基础网络

我们现在比较与四个不同的cbn LVAC框架的配置:线性(3 x3)9参数(基线),延时(35 256××3)有9987个参数,延时(35 64××3)有2499个参数pa (32×3×3)有227个参数,在不同的目标水平。的延时(35 256××3)和延时(35 64××3)cbn与35两层mlp输入(3位置和32的一个潜在的向量,例如,C= 32)和3输出,分别在256年和64年隐藏节点。的pa (32×3×3)CBN是Position-Attention (PA)网络也有35个输入(3位置和32一个潜在的向量)和3输出。所有配置使用连续成批的熵(cbe)模型的量化和熵编码32路潜伏。

图6 a - c显示(绿、红、紫色)这些cbn的RD性能在不同的目标水平(21)27日,24日,随着基线(蓝色、橙色)。我们首先观察到,在每个目标水平l24 = 27日,21日,cbn与更多的参数比cbn用更少的参数。特别是,尤其是在更高的比特率,延时和PA网络水平l提高5 - 10分贝以上的线性网络的水平l的RD浸透性能如前所述,每个l。其次,在每个目标水平l21 = 27日,24日,有一个范围的比特率的延时和PA网络提高了2 - 3 dB甚至水平= 30,= cbe +线性模型(3 x3)基线,不饱和。比特率的范围,这种改进是实现高水平27日反映,高质量和低水平21日需要与小blocksizes cbn。在补充材料相同,我们展示这些数据通过CBN类型而不是水平因素,再次说明,对于每个CBN类型,每一层对不同比特率范围是最优的。图5 b表明LVAC提供增益为2 - 5 dB在我们二次基线,Deep-PCAC (盛et al ., 2021)。情节比较其他提供的点云补充材料。

一个体积函数的性质f_θ(x;z)由CBN见图7。为了说明这一点,我们选择了CBN延时(35 256××3)训练的岩石点云在目标水平l= 21,我们穿过体积函数的阴谋f_θ(⋅;z这个CBN)为代表。具体地说,让n是一个随机选择的节点在目标水平l,让 ${\stackrel{̂}{\mathbf{z}}}_n$ 是量子化的累积潜在的节点,并让x_n= (x_n,y_n,z_n)是一个随机选择的点的位置在该节点的块。然后我们把第一个(红色)组件的功能 $f_{\theta }(\mathbf{x};{\stackrel{̂}{\mathbf{z}}}_n)$ ,在那里x从(0,y_n,z_n)(N_x,y_n,z_n),N_x是一个块的宽度水平l。我们这样做对许多随机选择节点n了解体积的分布函数表示在这一水平。(绿色和蓝色的组件的分布类似,和削减y和z轴)。我们观察到许多的值 ${\stackrel{̂}{\mathbf{z}}}_n$ , $f_{\theta }(\cdot ;{\stackrel{̂}{\mathbf{z}}}_n)$ 是一个约常数函数。因此, ${\stackrel{̂}{\mathbf{z}}}_n$ 必须编码的颜色调色板用于这些函数。然而,我们也观察到的值 ${\stackrel{̂}{\mathbf{z}}}_n$ , $f_{\theta }(\cdot ;{\stackrel{̂}{\mathbf{z}}}_n)$ 是一个斜坡或其他非线性函数在其领域。最后,我们看到几乎没有能量频率高于奈奎斯特频率(采样率的一半),抽样发生在单位像素点的地方。我们得出这样的结论: $f_{\theta }(\cdot ;\stackrel{̂}{\mathbf{z}})$ 就像一个码书的体积函数上定义N_x×N_y×N_z,适合手头的点云。

5.4推广

我们也探讨cbn可以广义的程度在点云;,他们是否能被训练来代表一个普遍家庭体积的函数。图8下面显示cbn确实可以概括在点云在低比特率。我们提供相应的情节中的其他点云补充材料。

5.5方信息

潜伏时,步大小、熵模型和CBN都是针对一个特定的点云进行了优化,量化和熵编码只有潜在的向量(z_n为重建点云属性)是不够的。一步的大小(Δ_c),熵模型参数(ϕ_ℓ,c),和CBN参数θ也必须量化、熵编码和发送吗方面的信息。发送方信息带来额外的比特率和失真。注意尺寸的边信息步骤是可以忽略不计,因为只有一个步长为每个C= 32频道。

5.5.1边信息熵模型

我们首先考虑的边信息熵模型。图9显示了点球需要传送信息,点云的熵模型岩石。我们使用Tensorflow熵压缩的连续批处理(cbe)模型之前吵了深刻的映像。32通道,这个模型有23296个参数。如果每个参数是用32位表示,那么0.89位每点的点云所需的信息岩石有837个,434分。这将改变RD性能从固体绿线冲绿线在图中,中长期规划模型级别= 27日= cbe + (35×256×3)。然而,幸运的是,可以避免这个昂贵的边信息,通过使用cbe并且在培训中使用自适应扫描宽度Golomb-Rice (RLGR)熵编码器Malvar (2006)在推理时间。由于RLGR是落后的适应性,能适应Laplacian-like分布不发送任何信息。当然其编码效率会受到影响,但我们的实验表明,该降解几乎可以忽略不计。从今以后我们报告只使用RLGR RD性能。由此产生的RD性能的虚线所示空缺markers-an几乎可以忽略的退化。给出相应的情节为其他点云补充材料。

5.5.2 cbn的边信息

接下来,我们考虑cbn的边信息。对于每个点云,有一个立方,在目标水平l。分配每32位浮点参数将使最悲观的估计方面的信息。然而,很可能每32位浮点参数是多一个数量级。之前的研究表明,简单的模型压缩可以执行在8位(横幅et al ., 2018;王et al ., 2018;太阳et al ., 2019)或更积极在1 - 4位/浮点参数(汉et al ., 2015;徐et al ., 2018;Oktay et al ., 2019;股票et al ., 2019;王et al ., 2019;Isik et al ., 2021 a;Isik et al ., 2022)和非常低的性能损失,即使cbn勒夫(如鸟et al ., 2021;Isik 2021)。或者,cbn可能被训练的其他广义点云避免传递任何信息。图1032位的假设下显示RD性能以及在泛化。我们的读者补充材料为其他相应的情节点云。

现在,我们转向烧蚀研究的关键。

5.6标准正交化

我们的一个主要贡献是证明天真均匀标量量化和熵编码的潜在导致业绩不佳,而适当的正常化前的系数量化实现比特率减少30%。在这个烧蚀研究中,我们删除标准正交化通过设置规模矩阵年代在(方程式。7,8)和图4单位矩阵,从而消除压缩几何上的任何依赖项属性。这对应于一个天真的压缩方法,例如,假设每潜伏在一个固定数量的比特(Takikawa et al ., 2021)。表1表明,这种幼稚的方法相比,我们的正常化实现比特率减少30%(计算使用(Bjøntegaard 2001;Pateux荣格,2007))。这个量化比特率的降低由于几何条件属性压缩。我们给结果平均超过所有点云表1,结果岩石点云的图11,并提供结果中的每个点云补充材料。

5.7凸包

对于不同的比特率范围和不同的假设的成本方面的信息,不同的配置LVAC框架的可能是最优的。图12显示了凸包,或帕累托fontier所有配置在不同的假设0 (图12)、8日(图12 b),32(图12 c)位/浮点参数。所有配置,我们已经检查了本文中出现图12。然而,只有那些参与凸包出现在传说,用实线绘制。(其他人分布。)凸包2 - 4 dB的基线。我们观察到:首先,当信息成本(0位/参数),凸包只包含最大的CBN (延时(35 256××3)),以更高的目标水平更高的比特率。其次,随着边信息的成本增加,较小的cbn (延时(35 64××3)和pa (32×3×3))开始参与凸包,特别是在低比特率。最后,以32位/参数,最大的CBN是完全排除在外。第三,归纳从未参与凸包,尽管由于侧信息不遭受任何惩罚。这可能是因为他们只在一个训练有素的其他点云在这些实验。培训更具代表性的cbn数据可能会改善他们的泛化性能,但留给未来的工作。相应的情节为其他点云是提供的补充材料。

5.8主观质量

图13显示压缩质量在0.25 bpp的假设下0位/浮点参数。额外的比特率中所示补充材料。

5.9基线,重新审视

我们现在回到基线的问题。图14显示了我们之前的基线,RAHT + RLGR,RGB和YUV颜色空间(蓝线)。尽管RAHT MPEG G-PCC使用的变换,参考软件TMC13 v6.0(2019年7月)提供了改进的RD的性能(绿线)相比RAHT + RLGR,主要是由于更好的熵编码。特别是,TMC13使用context-adaptive二进制算术编码与各种编码模式,RAHT + RLGR使用RLGR。我们使用RAHT + RLGR作为我们的基准,因为实验用RLGR熵编码器;具体的熵编码器用于TMC13很难提取标准。最新版本,TMC13 v14.0(2021年10月),提供了更好的RD的性能,例如联合编码模式通过引入颜色通道都是零(橙色线)。它还介绍了预测RAHT, RAHT系数在每个水平预计从解码RAHT系数之前的水平(Lasserre和弗林,2019年;3 dg 2020 b;Pavez et al ., 2021)。预测残差,而不是RAHT系数,量化和熵编码。预测RAHT仅通过2 - 3分贝提高RD性能(红线)。然而,在低比特率政权,LVAC RLGR甚至没有RAHT预测性能优于TMC13 v14.0预测RAHT(固体黑线图12)。我们相信LVAC可以进一步的RD性能显著提高。特别是,TMC13的主要进步RAHT + RLGR更好的熵编码和预测RAHT-are同样适用于LVAC框架。例如,更好的熵编码可以做hyperprior (Balle et al ., 2018),预测RAHT可以应用到潜在的向量。这些探索留给未来的工作。

6讨论和结论

这项工作是第一个压缩体积函数y=f_θ(x)由当地基于坐标网络建模。虽然我们专注于RGB属性y,扩展到其他属性(签署了距离,密度,等。)很简单。另外,尽管我们关注 $\mathbf{x}\in {\mathbb{R}}^3$ (比如,扩展hyper-volumetric功能y=f_θ(x,d),d是一个视图方向)也是简单的。因此LVAC应该适用于plenoptic点云(Krivokuca et al ., 2018;Sandri et al ., 2018;Zhang et al ., 2018;Sandri et al ., 2019;Zhang et al ., 2019)以及光辉字段(米尔登霍尔et al ., 2020;a . et al ., 2021年;马特尔et al ., 2021;Takikawa et al ., 2021;Zhang et al ., 2021下一个适当的距离测量。我们相信plenoptic点云和辐射领域之间的主要区别是变形测量d(f,f_θ)。为点云,d(f,f_θ)是测量的领域f,如3 d颜色点之间的均方误差。对于辐射字段,d(f,f_θ)是测量的领域预测或效果图f在2 d图像,如效果图的颜色的像素之间的均方误差f和f_θ在2 d图像。在(德奎罗斯和周,2017年),前者称为变形措施匹配的扭曲,而后者被称为投影失真。变形测量的变化可能是所有所需LVAC正确适用于辐射场压缩。这个工作也是最早使用神经网络压缩点云的属性,表现优于RAHT,用于MPEG G-PCC,由2 - 4 dB和Deep-PCAC最近学会了压缩框架,由2 - 5分贝。虽然MPEG G-PCC使用额外的编码工具来进一步提高压缩,比如上下文自适应算术编码,联合熵编码的颜色,和预测RAHT,这些工具也在我们处理,并可能进一步研究的主题。应该召回,了解图像压缩进化了许多论文12年半,竞争起初只有JPEG在缩略图,然后用JPEG - 2000,先后WebP,边界网关协议。直到最近学会了图像压缩比最新的标准,VVC,在PSNR值(郭et al ., 2021)。学会了体积压缩(LVAC)属性,就像学习图像压缩,是一项正在进行中的工作。

数据可用性声明

公开的数据集进行分析。这些数据可以在这里找到:JPEG Pleno数据库:8我Voxelized身体(8 ivfb v2)——动态Voxelized点云数据集:http://plenodb.jpeg.org/pc/8ilabs/。

道德声明

书面知情同意了个人(s)的出版的任何潜在的可识别的图像或数据包含在本文中。

作者的贡献

电脑提出了初步想法,BI完成拟议的框架和实施它。BI和PC写道。SH、新泽西和GT帮助实现和写作。

确认

作者要感谢Eirikur Agustsson和约翰Balle有益的讨论。

的利益冲突

作者PC, SH、新泽西和GT受雇于公司谷歌。

其余作者宣称,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。

出版商的注意

本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。

补充材料

本文的补充材料在网上可以找到:https://www.雷竞技rebatfrontiersin.org/articles/10.3389/frsip.2022.1008812/full补充材料

脚注

¹我们火车潜伏,量化器stepsizes,神经熵模型,为每个点云立方氮化硼。然而,我们展示了cbn可以广义跨不同的点云。

引用