加速可穿戴活动识别的深度神经结构搜索，并提前预测融合性能

1.简介

用于人类活动识别的深度神经网络(DNN)设计(王等，2019)需要对许多架构超参数做出决定，包括层类型、大小、层的数量和层之间的连接。由于神经结构的空间非常大(在这项工作中，我们使用10的搜索空间<年代up>16独特的网络拓扑)，这些决定通常是基于先前的经验和有限的系统探索。

神经结构搜索(NAS)已经被引入到其他领域，包括计算机视觉和自然语言处理，以执行对搜索空间的引导探索，而不是详尽或随机的探索(Elsken等人，2019b)，使用强化学习(钟等，2017；Zoph and Le, 2017；刘等，2018a；Pham等人，2018；夏和丁，2020年)、遗传算法(Miikkulainen等人，2017；Elsken等人，2019a)，或梯度下降法(刘等，2018b；李等，2020年)．每个模型的结果都与最先进的模型相当，甚至更好(Elsken等人，2019b)．

神经结构搜索尚未应用于可穿戴传感器的HAR(见第2节)。HAR中的卷积输入层将其作为特征提取器的成功归功于其将传感器信号模式与活动匹配的能力(曾等，2014)．这要求卷积层和活动能够很好地匹配(例如，内核大小应该与活动的典型长度相当)，考虑到相关模式持续时间和采样率(Malekzadeh等人，2021年)跨越不同的活动和数据集。虽然循环网络和LSTM网络可用于利用时间关系，但当应用于卷积特征提取器(Ordóñez和Roggen, 2016)．

神经结构搜索有可能自动为特定的数据集定制卷积特征提取器，同时在原则上保持数据集不可知。在本文中，我们提出了一种使用RL和早期训练时期的性能预测的NAS方法。这项NAS应用于可穿戴HAR研究的主要贡献是:

•首次将基于深度rl的NAS原理应用于可穿戴HAR。我们在日常生活活动的机会数据集上评估我们的方法(罗根等人，2010年)，并发现我们的NAS方法可以生成性能优于现有技术的网络架构。

•在早期训练阶段预测分类器模型性能的五种技术的比较研究，以降低NAS算法的计算复杂性。

•讨论该方法的局限性以及需要进一步研究的最重要领域。

•描述该方法的技术实现细节，包括每个实验使用的软件和硬件以及计算时间。

•对这项工作未来可能扩展的探索和路线图，包括使用多目标RL来优化架构，以实现最低功耗、传感器使用和训练数据需求。

本研究的目的是证明NAS是一种可行的方法，可以发现用于可穿戴活动识别的性能神经网络架构，并鼓励社区利用这些迄今仅限于其他领域的技术。这项工作的潜在影响是自动化新数据集的网络架构设计，并为研究人员腾出大量的工作时间来专注于其他领域。

这项工作此前已在2021年可穿戴计算国际研讨会上发表(佩拉特和罗根，2021年)．除了原始版本中提供的材料外，本文的扩展版本包括:

•相关作品的扩展讨论。

•更详细的算法解释，包括伪代码。

•与最先进的模型Attend和discrimination进行额外比较(阿贝丁等人，2020年)．

•讨论系统的计算实现。

•用于可穿戴HAR的NAS未来研究路线图。

•大量新的图表和表格，以帮助理解文本。

2.相关工作

2.1.用于人类活动识别的深度学习

表1重点介绍了HAR深度网络中包含的关键网络处理层，并说明了迄今为止建议的各种架构。卷积单元是最受欢迎的特征提取器，尽管自动编码器(AE)也被使用。尽管香草循环神经网络(RNN)和双向RNN也被提出，而且一些网络根本不包括时间处理，但时间动态通常是用长短期记忆(LSTM)架构捕获的。最近的一些研究将注意机制和自注意机制纳入了网络架构。虽然文献中的大多数网络都是使用监督学习进行训练的，但近年来也提出了自监督和半监督学习算法，以减少训练所需的数据量。

表中表示的架构深度范围很大，从2层到10层。被调查的作品中只有两个报告了可训练参数的总数，尽管其他一些可以从已发布的代码中推断出来。参数的数量也取决于模型应用到的数据集。例如DeepConvLSTM (Ordóñez和Roggen, 2016)，当应用于Opportunity数据集时，包含3.97 M个可训练参数，分布在网络的卷积和LSTM部分。文中给出了各层网络参数的分布表2．在Münzner等人(2017)，作者探索了几种卷积网络的变体，具有卷积核大小的范围，总参数范围从1到7 M。

对于绝大多数的网络报道中表1，任何公开的用于确定DNN拓扑结构的搜索策略都仅限于在几个不同数量的层或每层单元上进行网格搜索。Hammerla等人(2016b)是一个反例，但他们的系统探索仍然仅限于≈1500个配置，而我们从10个空间中每次搜索采样2万个<年代up>16独特的拓扑结构。

这些网络架构在各自的数据集上都表现良好，但尚不清楚它们是否代表了可能的最佳架构，以及哪些架构参数对性能的影响最大。因此，有效的NAS方法用于可穿戴HAR应该能够探索至少包含大多数这些网络的搜索空间，以及新颖的架构。

2.2.神经结构搜索

到目前为止，大多数成功的NAS算法可以分为三类:rl (钟等，2017；Zoph and Le, 2017；刘等，2018a；Pham等人，2018；夏和丁，2020年)、进化算法(Miikkulainen等人，2017；Elsken等人，2019a)，以及以结构参数连续松弛为特征的可微方法，然后通过梯度下降(贝克等人，2017年；钟等，2017；Elsken等人，2019b)．前两种策略操作在体系结构的离散搜索空间上，因此两者都具有非常高的计算复杂度(Ren等人，2020年)．后一种方法避免了离散搜索空间的复杂性，但代价是由于节点数量固定而限制了搜索空间。DARTS中提出的可微方法(刘等，2018b)，计算网络在搜索阶段的每一个可能的操作，这也导致对内存的要求非常高，进一步限制了大多数硬件上的搜索空间。

贝叶斯优化(BO)也被应用于搜索网络架构(Kandasamy等人，2018年；Elsken等人，2019b)，一般采用高斯过程(Ru等，2020)或图神经网络(怀特等人，2021年)来预测所搜索模型的性能。基于BO的算法通常计算成本很高，但是为了减少抽样架构的总数，它更注重在每个步骤中选择最好的架构进行评估(例如，给出最大的预期改进)。

在NAS的RL范式下，在Zoph and Le (2017),一个<我>控制器网络(通常是RNN)被训练以生成合适的<我>分类器架构，然后在目标数据集上进行训练和评估，以提供用于训练的反馈<我>控制器产生更好的结果<我>分类器(见3.1节)。该方法用于生成CIFAR-10图像识别的竞争性卷积模型。为了减少在离散搜索空间中训练许多网络架构的计算负担，提出了从早期验证阶段预测收敛性能的策略(贝克等人，2017年；钟等，2017；Elsken等人，2019b)．本文使用的方法与BlockQNN (钟等，2017)．

近年来，NAS方法也被应用于基于图像和基于骨骼的活动识别(Popescu等人，2020年；Zhang等，2020)，以及与领域无关的时间序列分类(Rakhshani等人，2020年)，结果令人满意。这项工作代表了基于可穿戴传感器的HAR的NAS性能预测的首次探索。

3.方法与实验设置

3.1.NAS的深度Q学习

在NAS的RL范式下，一个特征提取器是由在每个时间步骤中选择的一系列操作递增地构建的<我>控制器网络。每个操作对应于从241个选项中添加一个层，包括卷积层(内核大小为{1,2,3,5,8}，内核数量为{32,64,128,256})，最大池化层(池化大小为{2,3,5})，任何两个先前层的连接(通道方面，其中不匹配的序列长度用零填充)，以及终端层。终端层是一个动作，控制器可以选择该动作来指示不再向特征提取器添加任何层。完整的操作集显示在表3．

这种顺序决策过程是马尔可夫决策问题(MDP)的一个例子，其中状态空间是可能的网络架构的集合<我>N，动作空间为层的集合<我>l每个时间步可以生成什么，奖励是什么<我>R是衡量业绩的<我>分类器目标数据集上的网络。我们将一个完整网络架构的生成和评估称为<我>集．奖励<我>R只能在网络已经完全生成之后，即在每个时间步长中<我>集．为了将奖励分配给前面的时间步骤，我们假设每一层对最终奖励的贡献相同(这可能不是真的——未来的工作可能会考虑评估每一层的贡献，并根据这个指标对奖励进行加权)。

这个MDP的目标是在每一步中找到<我>控制器网络，最大限度地提高整个网络的性能的层——假设以下所有层都是根据相同的策略选择的。我们可以给每个状态-动作对赋值，表示这个预期的未来回报，我们称之为<我>问-value，定义为:

在哪里<我>问（<我>n, l)是<我>问层的-value<我>l附加到网络<我>n，<我>t,<我>T当前和最大时间步长，和<我>N_t，<我>l_t，<我>R_t时间步的状态、行动和奖励<我>t．这个方程是递归的:

我们可以使用这个属性来派生一个更新规则，它允许我们更新<我>问-每一集后所选动作的值:

其中α是一个缩放因子或学习率，它控制更新的步长。深度q学习(Mnih等人，2015年)，我们使用a<我>控制器DNN通过优化近似q学习更新规则的损失函数来近似这个q函数，如式(5)所示$R_{t+1}+\underset{l}{马克斯}［问（N_{t+1}，l）］$¹随着<我>目标价值。

3.1.1.搜索空间

定义两个搜索空间，第一个<我>一般在池化或卷积层可以连接到任何先前生成的层的搜索空间中，允许任意跳过连接和分支(1.06 × 10<年代up>16架构)和一个受限的<我>前馈空间只允许前馈网络(8.17 × 10<年代up>10架构)，没有连接。许多网络表1可以在这些搜索空间中表示-例如，看到了吗表4为DeepConvLSTM的向量编码。

的作者Hammerla等人(2016b)利用fANOVA超参数优化技术，探索1-3层前馈cnn的搜索空间，其中每层有16-128个卷积滤波器，内核宽度在3 - 9个样本之间。他们还在所有网络中使用一个最大池化层，其内核宽度为2，卷积层的输出由一个具有64 - 2048个单元的完全连接层处理。这些结构超参数与几个学习和正则化超参数一起优化，包括学习率和dropout分数。总的来说，他们从这个搜索空间中只采样了256个网络架构。

3.1.2.控制器网络架构

的<我>控制器网络由两个64单元的RNN层和一个241单元的线性输出层组成，学习每个时间步上的层选择与完成之间的相关性<我>分类器性能(加权F1分数)，深度Q学习(Mnih等人，2015年)．每个输出单元的值都经过训练以接近预期值<我>分类器选择其关联层时的性能，使用3.1.3节中描述的损失函数。因此，输出单元的数量由可以在搜索空间中生成的层数决定。的输入<我>控制器网络是应该生成的层的索引，因此所选择的层是该层在网络中的位置的知识与RNN的内部动态相结合的结果，RNN的内部动态由当前和之前事件中先前的层选择所告知。虽然我们还没有进行大量的实验来确定DQN的结构，但这种结构很可能具有固有的偏差，这可能会影响结果。未来的工作应寻求优化控制器网络架构。

3.1.3.用经验回放训练DQN

我们通过对过去64个批次进行抽样来训练DQN<我>经历．一个<我>经验对应于在过去的章节中生成的单个层<年代up id="footnotesuper2">2．我们根据平滑L1损失的批次平均值(Fu等，2019)，使用Adam优化器(金玛和巴，2014)．我们使用两个深度Q网络(DQN) -a来学习Q函数<我>目标DQN带参数θ<年代up>T和一个<我>当地的DQN带参数θ<年代up>l，以减少动作值与目标值之间的相关性，从而导致学习不稳定(Mnih等人，2015年)．损失函数为:

在哪里<我>x动作值是否由<我>当地的Net由$x＝\underset{l_t}{马克斯}［问（N_t，l_t，{\theta }^l）］$,<我>y目标值是由$y＝\alpha （R_{t+1}+\underset{l_{t+1}}{马克斯}［问（N_{t+1}，l_{t+1}，{\theta }^T）］）$-即时奖励和预测的结合<我>目标net，从而逼近式(4)中给出的q学习更新规则。使用Adam优化器(金玛和巴，2014)，这是一种随机梯度下降的方法，它使用损失函数的梯度和平方梯度的移动平均值来计算每组参数的个体自适应学习率，从而调节更新的步长。的权重更新后<我>当地的Net通过反向传播，我们做了一个“软更新”的权重<我>目标Net由参数τ控制，使得θ<年代up>Tθ=(1−τ)<年代up>T+τθ<年代up>l，其中我们将τ设为10<年代up>−3．这是每四集进行一次，以提高训练的稳定性。

3.1.4.搜索策略

为了避免基于低置信度的初步估计而选择行动<我>问-values我们使用ϵ-greedy策略，选择最大的层<我>问的概率为1 - ε的-value，以及一个概率为ε的随机层，在训练过程中我们会线性衰减<我>控制器2万集后，网络从住所的柱状结构1到住所的柱状结构0.01。这使我们能够平衡探索和利用所学知识，并避免在我们的估计中引入选择偏差<我>问值。

3.1.5.构建特征提取器

在每个RNN时间步<我>t，我们通过给DQN提供层索引来从搜索空间中采样层<我>我_t并根据ϵ-greedy策略选择图层，如图所示图1．如果选择的层是有效的<年代up id="footnotesuper3">3.，我们增加<我>我然后选择另一层，重复直到<我>我= 8，或者直到DQN选择一个称为终端层的层，这表明控制器网络已经决定停止向卷积特征提取器添加额外的层-它已经决定使<我>分类器网络再深都有可能降低性能。

3.2.数据集

我们训练并验证<我>分类器在机会数据集(罗根等人，2010年)，它由4个受试者执行17个零星手势(如喝水和开门)的6个注释运行组成，加上一个空类(18个总活动类)。中解释了活动类和分布表5．我们使用所有113个传感器通道。我们将数据集分为一个训练集和一个验证集，其中包括来自用户1的一次运行，我们从用户2和用户3中取出两次运行用于测试(如在机会挑战中一样)Chavarriaga等人，2013)．总的来说，训练数据集包含大约525,000个样本，而验证集包含大约32,000个样本，测试集包含大约119,000个样本。

3.3.分类器的评估

为了评估特征提取器，我们将其与每层128单元的两层LSTM循环网络和具有软最大输出的单一线性分类层相结合。这与DeepConvLSTM的输出结构几乎相同(我们不使用dropout)。我们使用的滑动窗口大小为500毫秒(16个样本，最大内核长度的两倍)，其中LSTM的状态在每个窗口之后重置。将网络输出与每个窗口的最后一个样本的真实值进行比较。每个分类器网络的学习率设置为1 × 10<年代up>−3，我们使用的批大小为100，与DeepConvLSTM相同。

我们将在验证集上获得的F1分数作为奖励<我>R_T对于每一集，其中<我>T特征提取器中的层数。我们在每个有效层上平均分配奖励，为每个有效层设置奖励<我>我是$R_{我}＝\frac{R_T}{T}$．如果<我>控制器网络试图生成一个与不存在的网络连接的层，该层收到−1的奖励。注意总奖励<我>R_我只能是正的，因为它是通过只考虑有效层来构造的。

3.3.1.对未见数据的测试

在搜索之后，在选定的网络上执行测试，以防止对测试集的过度拟合——我们在搜索过程中只向分类器显示验证集，以获得对其性能的估计。然后训练生成的最佳模型收敛300个epoch，或者直到它们的验证F1分数没有超过30个epoch的提高(这导致平均大约100-150个epoch的训练收敛)。最佳模型在测试集上的性能显示在表6．

3.4.融合性能估计

为了使计算时间最小化，我们使用神经回归网络在训练分类器模型后只训练几个epoch来近似真实的奖励。除了训练和验证统计信息外，我们还结合了关于分类器结构及其计算复杂度的信息[近似于每个推断的浮点运算(FLOPs)数量]。我们提出四种预测方法，如图2：

•<我>中长期规划:每层64个单元的三层感知器，以每个训练时期的训练损失、验证损失、准确率、类加权F1分数、F1平均分数以及被试的密度(层间连接数除以层数)和flop数作为输入。看到图2一个．

•<我>美国有线电视新闻网:核心结构与上述相同的分支卷积网络，外加一个64个大小为3的卷积输入层，将训练和验证统计数据作为时间序列输入，并在第二层合并flop的密度和数量。看到图2 b．

•<我>延时(结构): MLP的一种变体，它额外将网络结构的向量表示作为输入。看到图2 c．

•<我>美国有线电视新闻网(结构): CNN的一种变体，它将网络结构的矢量表示作为额外的输入。看到图2 d．

我们将这些方法与a进行比较<我>基线该方法简单地使用过去5个训练周期的平均验证F1分数(即，如果训练10个周期，则为5-10周期)作为奖励。

我们生成、训练收敛并测试了5000个随机抽样的网络，这些网络来自每个一般和前馈搜索空间，收集训练和验证统计数据以产生两个<我>数据库的模型。这两个数据库的生成各花了大约120小时。各模型数据库中分数的分布如图所示图3．我们训练预测器以最小化预测与实际测试F1分数之间的MSE损失，并根据测试F1分数对损失函数进行加权，因为我们主要对表现最好的模型感兴趣。为了评估预测器的性能，我们对每个模型数据库进行了10次交叉验证实验。

4.结果

4.1.性能预测

为了分析结果，我们将<我>数据库根据测试F1分数，将模型从一般搜索空间中分成五个箱子。的顶部显示了每个预测模型在每个数据分区上所获得的等级相关性图4．我们所有的预测方法都获得了比基线更好的整体相关性，此外，它们都在高性能组(前20%的网络)中获得了显著更好的相关性，这表明它们能够在早期训练阶段比基线更好地识别和区分高性能网络。在五个时期表现最好的预测因子是MLP，与基线相关性0.17相比，前20%的模型的相关性为0.54。

的底部部分图4，我们可以看到，我们所研究的分类器的测试性能与其计算复杂度(前20%的平均FLOPs是后20%的平均FLOPs的两倍以上)和层数(从≈4到≈6)之间存在显著的正相关。我们还观察到高性能分类器的节点密度和推理时间有更适度的增加，这表明具有少数分支的深度网络表现最好。

4.2.神经结构搜索

我们使用MLP和基线预测方法对搜索空间进行了四次探索，并对分类器模型进行了5和10个epoch的训练。表6显示了在每次搜索运行中发现的最佳模型的加权F1分数、平均F1分数和准确性，以及推理时间、flop的数量和搜索所需的时间。除此之外，我们还为四个基准模型DeepConvLSTM、Attend and discriminm、MaxFF和MaxWide提供了相同的指标，这些模型在与nas生成的架构相同的条件下进行了训练和测试。

DeepConvLSTM是DeepConvLSTM的特征提取器部分的实现(Ordóñez和Roggen, 2016)．Attend and discrimination是在DeepConvLSTM架构上迭代的最先进的模型，它使用注意门控循环单元(GRU)而不是LSTM循环部分，使用中心损失来最大化特征空间中类中心之间的距离(Wen等，2016)，并实现了一种新的自注意层，即信道交互编码器(CIE)，以利用特征提取器输出中信道之间的相关性(阿贝丁等人，2020年)．除此之外，卷积特征提取器的结构与DeepConvLSTM相同。MaxFF指的是具有8个卷积层的前馈模型，每个卷积层具有256个大小为5的核，而MaxWide指的是具有8个并行卷积层的模型，具有256个大小为5的核，从而表示搜索空间的最深和最宽的限制。

从表6， nas生成的模型在所有情况下都优于基准模型。最好的特征提取器，如图所示图5以向量的形式表7，使用NAS和MLP预测器，使用10个时代的验证数据发现。最好的特征提取器具有各种各样的卷积内核大小，不包括任何池化层，并使用分支结构。NAS生成的模型也比两个“Max”基准模型的复杂度低，但比DeepConvLSTM和Attend and discriminm的复杂度高得多。Attend and discrimination的性能比DeepConvLSTM好得多，推理时间比其他任何模型都要低得多，FLOPs也明显更低。这可能是由于GRU循环部分具有LSTM的1/4参数，CIE自注意层有效地压缩了卷积特征提取器的输出。

我们在本研究中使用了类别加权F1分数来得出我们的主要结论，以保持一致性并易于与以前的出版物进行比较(Ordóñez和Roggen, 2016)．在机会数据集中，大约70%的样本是空类，这个指标将偏向于空类。为了支持我们的结果，我们还报告了每个模型的平均F1分数和准确性表6．平均F1分数往往低于加权F1分数，其范围约为56-63%，而后者为86-90%。这表明空类比数据集中的其他类更容易分类。就F1平均得分而言，同一模型总体表现最好(具有MLP预测器和10个训练epoch的NAS)，而只有5个训练epoch的基线NAS表现优于10个epoch版本，F1得分与最佳模型相差0.1%。虽然平均F1分数可能更好地代表网络在更困难的活动类别上的表现，但它通常也有更大的标准偏差，使得不同模型之间的比较更加困难。

5.讨论

虽然我们只将我们的方法应用于一个数据集，但原则上NAS和性能预测方法完全可以转移到其他数据集——只需要将数据集交换进去图6，并在搜索空间中调整内核和池的大小以适应新的数据集。我们提出的性能预测算法也需要在新的数据集上重新训练。为了验证本研究中获得的结果，未来的工作应该包括将该算法应用于各种其他数据集。我们选择在Opportunity数据集上评估我们的方法，因为它包含零星的、持续时间短的活动，很难正确分类，因此对NAS算法来说是一个具有挑战性的应用。其他数据集可能更适合于确定网络的泛化能力，因为机会数据集只包含四个主题。

尽管我们发现我们的NAS方法可以在相当短的时间内生成比随机搜索更好的架构，并且两者都产生了比我们的DeepConvLSTM实现更好的网络(Ordóñez和Roggen, 2016)和“出席与歧视”(阿贝丁等人，2020年)，这些实现的表现明显比文献中报道的要差(Hammerla等人，2016a；Ordóñez和Roggen, 2016；关和Plötz, 2017；阿贝丁等人，2020年)，因此我们无法显示出比最先进的F1分数有提高-这可能是由于所使用的训练和测试协议的差异。此外，我们只将我们的Q学习方法应用于网络的结构超参数的优化，忽略了几个可能对网络性能有很大影响的参数，包括批大小和学习率。对于这些超参数，我们选择使用与DeepConvLSTM在Opportunity数据集上使用的相同的值(在3.3节中给出)，以便与目前的技术水平进行公平的比较。这突出了中讨论的一个问题Elsken等人(2019b)也就是说，影响网络性能的因素不仅仅是网络的架构。这表明需要对HAR数据集上的NAS进行通用基准测试，以下示例董杨(2020)计算机视觉和Klyuchnikov等人(2020)用于自然语言处理，这将允许我们在预训练和预评估模型的搜索空间上测试NAS方法。

尽管我们的性能估计器在预测收敛性能时获得了比基线更好的秩相关性(参见图4)，这转化为一个稍微好一点的搜索特征提取器。这表明需要做更多的工作来找到更好的预测因素，从而进一步改善NAS结果。虽然性能估计器使NAS算法能够更快地运行，但模型随机数据库本身的生成耗时约为120小时，与随机搜索所花费的总时间相当。幸运的是，经过训练后，性能估计器可以多次重用，从长远来看可以节省大量计算。

性能估计器经过训练，以将给定分类器模型在验证集上的性能映射到其在测试集上的性能。在现实世界中，测试数据的分布通常与可用训练数据的分布非常不同。这是HAR的所有机器学习方法都会遇到的问题。解决这一问题的最好方法是增加训练数据的多样性，然而，性能预测器也可以扩展到预测模型对其他科目的泛化。

最先进的模型Attend和discrimination实现了接近NAS生成模型的性能，就flop数量而言，其复杂性显著降低，推理速度也快得多。这表明未来的NAS研究可以受益于在搜索空间中包含GRU循环单元和CIE自我注意机制。

另一种降低搜索复杂度的方法是修改算法以操作网络架构的连续搜索空间，例如使用无监督表示学习将搜索空间编码为连续潜在空间，然后可以由NAS算法(严等，2020年)．

在本研究中，我们选择搜索deepconvlstm类网络的卷积特征提取器部分，以保持搜索空间的大小对初始特征的可管理。该方法理论上可以应用于其他搜索空间，包括循环细胞结构的搜索。这项研究首次将NAS算法应用于可穿戴传感器的HAR。未来的工作应该考虑评估其他NAS算法，包括贝叶斯优化和遗传算法。

5.1.实现细节

本文中报道的所有实验都是使用单个Nvidia RTX-2080 GPU进行的。所有生成dnn的代码都是使用PyTorch实现的，RL逻辑是在自定义的OpenAI健身房环境中实现的。以避免执行相同的计算代价高昂的求值<我>分类器我们存储了每个评估网络的结果。一旦同一个网络被评估了三次，我们取三次得分的平均值，并将其作为再次生成相同网络的奖励。

尽管使用桌面设备对可能的网络空间进行详尽的搜索似乎是遥不可及的(我们对5000个模型的随机搜索花费了超过100小时，参见表6)，我们的工作表明，在早期训练阶段使用性能估计器来预测收敛性能可以显著降低技术要求，将搜索时间减少到10小时以内，同时保持结果的质量。

6.结论

我们提出了一种使用深度Q学习为深度循环神经网络设计卷积特征提取器的NAS方法，并表明我们的NAS引导搜索能够找到在机会数据集上击败我们的DeepConvLSTM实现高达4%的F1分数和最先进的Attend和discrimination模型0.8%的特征提取器算法，并击败我们提出的朴素最大复杂性算法1-3%的F1分数。我们还获得了比在随机搜索中发现的最佳模型更好的0.4%的F1分数，同时通过使用基于神经回归的性能估计器将搜索时间减少了90%以上。

这项工作在证明NAS方法为可穿戴HAR应用设计更强大DNN架构的可行性方面迈出了重要一步。虽然使用RL代理构建DNN架构之前已被提出用于图像识别应用(Zoph and Le, 2017)，此前尚未应用于可穿戴传感器的HAR。对算法进行了许多修改，使其适应于可穿戴HAR领域。除了实现包含参考现有模型选择的卷积层和池化层的自定义搜索空间外，我们还将nas生成的卷积网络与受以前工作启发的固定架构LSTM网络结合起来(Inoue等人，2016；莫拉莱斯和罗根，2016年；关和Plötz, 2017；阿贝丁等人，2020年)，以进一步根据可穿戴HAR领域定制生成的网络。

我们发现，我们的nas生成的模型始终比最先进的模型更大、更复杂，这表明未来的研究需要专注于降低解决方案的复杂性。

6.1.未来的工作

一种有希望降低搜索架构复杂性的方法是多目标强化学习(MORL)，要么使用缩放函数(Miettinen和Mäkelä， 2002)，将多个奖励组合为单个标量奖励，或在每次运行时使用多策略算法搜索一组最优解(巴雷特和纳拉亚南，2008年)．例如，将模型的F1分数作为一个奖励函数<我>R_F1和flop的数量<我>R_失败另一种方法是将这两者与规模化函数结合起来(游戏邦注:例如创造一个组合奖励)<我>R＝<我>R_F1−<我>R_失败)．该技术可以与其他指标一起应用，如推理时间或内存中模型的大小，以便找到可以在保持高性能的同时对嵌入式系统执行实时推理的网络架构。

通过考虑数据集中每个传感器或每个传感器模态的架构，可以进一步降低搜索和最终模型的复杂性。这可以通过将传感器位置或传感器模态包含在给定DQN的每个时间步的状态中来实现，使层的选择依赖于传感器模态和位置。对于具有不同采样率的多个传感器模式的应用，这可能是一种有效的方法，因为这些模式可能具有不同的最佳架构。这些特定于传感器的架构可以组合成集成分类器或包含多个分支的更大的dnn。同样有趣的是，研究传感器模态特定架构是否更有效地推广到使用相同模态的其他数据集。进一步说，已经证明三轴加速度计的各个轴都可以或多或少地对特定活动的识别做出贡献(Javed等人，2020年)，可以通过搜索特定于通道的网络架构来利用。

在更广泛的HAR目标数据集上验证这种方法和类似方法也应该是优先考虑的问题，未来的工作还可能包括开发跨数据集性能估计器，考虑到采样率和活动持续时间/周期性等因素，以识别广泛适用于许多类似应用的网络块和架构。例如，可以假设当卷积核的长度等于或大于目标数据集中活动的长度时，CNN将表现最佳。因此，一般的性能估计器应该能够学习并应用这种和更微妙的相关性来快速预测DNN的收敛性能。这一方向的研究对于降低未来NAS方法的技术门槛非常重要。

展望未来，搜索空间也应该扩大，以优化网络的循环部分，并考虑到最近的进展，如自我注意机制(阿贝丁等人，2020年)．此外，网络架构的无监督表示学习应该被认为是提高性能预测方法准确性的可行方法，并有可能将网络架构的大型离散搜索空间编码为连续的潜在空间(严等，2020年)．

数据可用性声明

支持本文结论的原始数据将由作者提供，毫无保留地提供。

作者的贡献

本文报道的实验是LP设计并进行的，并撰写了手稿。DR在研究的实验阶段提供了监督和指导，并对手稿进行了广泛的编辑。

致谢

本工作部分由欧盟H2020-ICT-2019-3项目人文人工智能网(项目号952026)资助。本手稿的内容已在2021年可穿戴计算国际研讨会(佩拉特和罗根，2021年)．

利益冲突

作者声明，这项研究是在没有任何商业或财务关系的情况下进行的，这些关系可能被解释为潜在的利益冲突。

出版商的注意

本文中所表达的所有主张仅代表作者，并不代表他们的附属组织，也不代表出版商、编辑和审稿人。任何可能在本文中评估的产品，或可能由其制造商提出的声明，都不得到出版商的保证或认可。

脚注

参考文献