3 d混合现实的可视化网络拓扑结构和活动的结果更好的二元网络团队沟通和网络态势感知
- 1信息安全与通信技术,挪威科技大学Gjøvik,挪威
- 2教师的健康、福利和组织,大学Østfold,哈尔登,挪威
- 3博士的学校信息和通信技术,计算机科学研究所塔林理工大学,爱沙尼亚塔林
- 4空间科学和技术中心,马里兰大学巴尔的摩县,巴尔的摩,医学博士,美国
- 5Albstadt-Sigmaringen大学计算机科学学院Sigmaringen,德国
- 6数字取证和网络安全中心塔林理工大学,爱沙尼亚塔林
- 7挪威军队网络防御、Oppland、挪威
背景:网络防御决策基于人际沟通在网络威胁的情况下,旨在建立一个共享的网络态势感知。先前的研究表明,沟通效率低下是安全操作中心团队面临的最大问题之一。需要的工具,允许更有效的沟通网络威胁个体之间的信息都在教育和网络威胁的情况。
方法:在目前的研究中,我们比较网络拓扑结构的可视化表示如何在3 d混合现实与2 d和交通网络学员(样品中影响团队绩效N在双= 22)合作。性能结果包括网络拓扑识别,网络态势感知,对判断的信心,经验丰富的通信要求,语言交流,强迫选择决策。研究利用网络数据从2022年北约CCDCOE锁盾网络防御演习。
结果:我们发现,参与者使用3 d可视化混合现实最好的网络态势感知比2 d组的参与者。3 d混合现实组通常在他们的判断更有信心,除了当执行比2 d组拓扑识别任务(支持2 d条件)。参与者的3 d混合现实组少沟通需求,和更多的语言交流,旨在建立一个共享心智模型和减少通信讨论任务决议。更好的沟通,更好的网络态势感知。没有决策群体之间的差异。这可能是由于群体效应等正式培训或温和的样本大小。
结论:这是第一个研究比较3 d的效果混合现实和2 d可视化二元网络团队沟通的网络拓扑和网络态势感知能力。使用3 d可视化混合现实导致了更好的网络态势感知能力和团队沟通。试验应重复在一个更大的更多样化的样本以确定其潜在的对决策的影响。
1。介绍
决策在网络威胁的情况下(CTSs)受到很多挑战由于决策代理人之间的互联性和资产在网络和物理空间,和固有的高水平的不确定性网络域(Jøsok et al ., 2016)。这导致决策常常不得不在信息不足的基础上使它难以预测的影响决定的和第三方的资产,以及敌对行为(Jøsok et al ., 2016)。其他挑战包括决策能力差异分析师级和决策人员(诺克斯et al ., 2018),角色通常分配给不同的个人在组织做网络安全操作(例如,安全操作中心;soc)。
由于资产和决策代理人之间的互联网络和物理域和由此产生的人与人之间和人机交互,网络安全操作在一个复杂的社会技术系统展开。根据态势感知(SA)模型(图1一个提出的)Endsley (1988,1995),建立公司社会技术系统实现三个层次的决策,各级必须实现完全SA。
图1。态势感知模型提出要求实现网络态势感知。(一)态势感知是实现三个阶段(Endsley 1995)。占soc的分析师和决策者之间的分离(诺克斯et al ., 2018;问et al ., 2021 a),“沟通”的元素被添加到模型中。(B)七个要求可以组织下Endsley模型需要满足实现网络防御网络态势感知(Barford et al ., 2009)。建立网络态势感知、交流共享网络态势感知、基于网络态势感知和决策受到个人因素,如情感、元认知、自我调节和沟通技巧(Jøsok et al ., 2016,2019年;诺克斯et al ., 2017,2018年;问et al ., 2021 b,2023年;Sutterlin et al ., 2022)、任务和环境因素如团队过程包括macrocognitions团队心智模式,和领导(Jøsok et al ., 2017;问et al ., 2021 a)。修改后的Lankton (2007)。
SA水平1是知觉阶段,包括感知元素的情况。SA水平2是理解阶段,包括理解感知元素之间的关系。SA三级涉及使用元素之间的关系的理解来预测系统的未来状态的情况发生,以及这些未来国家将如何影响决策(Endsley 1995)。
在网络环境中,SA越来越被称为网络SA (CSA;Barford et al ., 2009;因特网和Brynielsson, 2014)。扩展的正式定义SA (Endsley 1988),CSA是SA)的一个子集,可以概括地定义为“元素的感知的(网络)环境在时间和空间,它们的含义的理解和他们的地位的投影在不久的将来”(因特网和Brynielsson, 2014,p。4)。值得注意的是,然而,它是承认行为在物理域可能会影响在网络空间和事件反之亦然(Jøsok et al ., 2016)。因此,利益相关者和决策者往往需要有一个SA,同时占据决策的影响在网络和物理域。
七个要求实现CSA已经提出网络防御决策(Barford et al ., 2009)。这些要求可以安排在SA模式提出Endsley (图1 b)。实现SA一级CTS,妥协允许一定感知指标之一(1)意识的现状;(2)意识的影响攻击;(3)意识的敌对行为;和(4)意识的CSA信息的质量和可信度。实现SA级别2,你必须有(5)意识的原因和现状是如何引起的(例如,如果它是一个自动或直接攻击),和(6)意识的情况下如何演变。实现SA 3级,一个必须能够(7)评估合理的未来结果。
在CTSs决策是基于人类的代理之间的通信通常不同技术能力(诺克斯et al ., 2018)。沟通的目的是建立一个共享的CSA分析师和决策者之间的,决策者可以做出良好的网络防御的决定。这种通信发生在分析师交流公认的网络图的形式(RCP)根据分析师的CSA和包含精心挑选和可操作的网络威胁信息根据接收者的需求(Ahrend et al ., 2016;Staheli et al ., 2016;问et al ., 2021 a)。回顾绩效因素在SOC团队建议沟通不足是SOC的团队所面临的最大挑战之一分析师也最不研究主题之一(Agyepong et al ., 2019)。另一个最近的评论(问et al ., 2021 a),具体看人类之间的交流在CTSs发现(a)没有共同的最佳实践信息共享;(b)艾滋病技术(例如,可视化工具和信息共享平台)并不适合符合分析师的需求;(c)有一个缺乏研究同时评估个人和团队层次的性能指标;和(d)一般需要开发共享心理模型有效的沟通网络威胁。
与许多其他工作环境相比,网络域内的工作人员(北约合作网络防御卓越中心,2016年)没有直接感官进入空间,事件正在发生。换句话说,当网络分析师建立CSA等人员从本质上说,他们是试图预测未来的状态不能直接观察到的一个环境。相反,他们依赖于(1)工具,可以在他们的网络检测和可视化事件和活动领域;和(2)自己的心智模式的空间。这可能是一个人与人之间的摩擦,当传送的信息来源,因为不同的人可能有不同的心理模型相同的现象,与相应的他们对因果关系的理解上的差异导致了这些现象。这可能影响不同的个人认为重要的信息在网络威胁的情况(问et al ., 2021 a)。例如,先前的研究在当地的RCP需求——在瑞典和利益相关者表明没有人了解敌对的行为列为重要的RCP (巴尔加et al ., 2018)。如果需要对抗的意识行为实现SA一级在CTS和网络防御决策是必要的(Barford et al ., 2009),然后忽略信息对抗的行为可能会导致一个CSA不足。因此,涉众可能心智模型的因果关系在CTS,会影响和决定什么样的优先级,根据优先级(问et al ., 2021 a)。
已经提出在开发共享心理模型来确保成功的RCP CTSs期间沟通(Steinke et al ., 2015;问et al ., 2021 a),是知之甚少的影响可视化工具等网络威胁信息沟通和共享CSA如何网络拓扑可视化表示。哺乳动物的大脑已经进化的神经结构天生的处理和理解信息的能力与时间和空间(Eichenbaum 2014;雷和布莱希特,2016年;Berggaard et al ., 2018)。网络拓扑结构的典型代表是在二维(2 d),它失去了时间和空间网络中节点之间的关系,除了不扩展和增加(但通常需要)的复杂性。虚拟现实(VR)和混合现实(先生)工具能够可视化CSA-relevant网络拓扑等信息在时间和空间上的3 d对象,可能帮助共享心理模型的开发有效的RCP之间的通信技术和非技术人员(柯爱伦et al ., 2018,2019年,一个,b,2020年)。例如,SA三级是决策的最重要的阶段和舞台似乎是最依赖人类工作记忆(Gutzwiller和克莱格,2013年)。3 d网络拓扑结构的可视化虚拟现实/先生可以利用自动编码空间信息(神经认知过程Stackman et al ., 2002;Angelaki卡伦,2008;莫泽et al ., 2008当个人建立一个网络中共享心理模型的事件。如果这使CTS信息更有效地编码(例如,Legge et al ., 2012;瓦格纳et al ., 2021),它可能也会允许更多的工作记忆容量分配分享知识的过程和影响当前和未来的事件。减少对工作记忆负载可能反过来支持建立共享SA三级(Gutzwiller和克莱格,2013年)在CTSs决策(柯爱伦et al ., 2019 a)。
研究虚拟现实导航在人类和小鼠(鲍伯特et al ., 2017;Safaryan和梅塔,2021年)表明,他们能够产生脑电波地区相关的导航,注意力,学习、记忆(文森,1978;Seager et al ., 2002)。同样的,之前的虚拟现实人类的研究表明,参与者能够使用知识之间的关系在抽象空间导航,空间几何形状在第一人称虚拟现实导航任务(Kuhrt et al ., 2021)。这可能进一步表明3 d可视化允许探索和与网络数据交互的方式促进空间编码CSA的信息可以利用神经认知过程(Stackman et al ., 2002;Angelaki卡伦,2008;莫泽et al ., 2008)目前在网络防御未充分利用的。
虚拟数据浏览器(VDE;柯爱伦et al ., 2018,2019年,一个了可视化网络拓扑的方式的分析师使用的心理模型概念化网络(图2)。基于对专家的采访分析师、VDE能够可视化节点之间的关系在一个实际的网络空间和时间(柯爱伦et al ., 2018,2019年,一个,b,2020年)。产生的可视化VDE互动和个人之间可以共享,甚至远程,从而允许协作开发的网络中共享心理模型的事件。VDE可能因此是一个有用的辅助技术和非技术人员之间的知识转移,这样可以实现共享CSA促进良好的网络防御决策(柯爱伦et al ., 2019 a)。
图2。网络使用虚拟地形的可视化数据浏览器应用程序。(一)全面概述metashape实际网络的使用在2018年北约CCDCOE锁定盾牌事件使用VDE的可视化虚拟现实应用。(B)个体与网络交互地形先生。(C)从不同角度近距离的节点在网络,没有边缘代表它们之间的连接。(D)特写的蓝色团队与描述性信息网络中的节点和连接它们的边缘。从拍摄的图像柯爱伦et al。(2019)。
VDE使用两种截然不同的信息可视化网络拓扑:(1)节点包含在一组网络流量,和(2)模型连接在一个指定的时间窗口或攻击路径(柯爱伦et al ., 2018)。为了清晰起见,我们希望指定VDE没有开展法医分析的工具。相反,通过可视化网络拓扑结构在时间和空间的心智模型根据操作符(柯爱伦et al ., 2018,2019年,一个),分析师的VDE可能neuroergonomic工具加深自己的理解的CTS与他们的任务是保护的网络,和分享CSA在复杂的工作环境,如网络安全(柯爱伦和恩格尔,2022,b)。
在目前的研究中,我们评估三维可视化的网络拓扑的影响对CSA和网络防御决策沟通和协作。本研究的目的是确定一个3 d网络攻击的先生表示,可视化通过VDE比2 d表示(1)实现网络态势感知;(2)网络团队沟通;和(3)决策中二的合作在模拟CTS。
2。材料和方法
2.1。道德声明
这个研究在推进改善通信网络防御的公认的网络威胁情况(ACDICOM)项目。1本研究符合机构的指导方针,符合自动批准挪威社会科学数据服务”(NSD)的实验研究中的伦理指南。参与是自愿的,所有的参与者被告知关于这项研究的目的;方法应用;他们可以随时退出参与和没有任何后果;如果他们这样做,从他们收集的所有数据将被删除。自愿参与研究后,参与者被要求提供知情同意在第一页的在线表单收集基线数据。参与者被要求生成并记住一个独特的ID参与者,他们将使用过程中数据收集的时间学习。
2.2。参与者和设计
这个实验采用pseudo-randomized肉搏战设计使用VDE实验条件和包捕获软件Arkime(原名摩洛)作为控制条件。参与者(N平均年龄= 22.5 = 22日,女= 5)网络学员招募从挪威国防大学网络学院(NDCA)。一半的学员是专门从事军事信息通信技术(ICT)系统而另一半是专门从事网络业务。
这项研究包括两个部分分布在3天,第一天是用于收集知情同意,并收集人口和基线认知特征数据。结果认知相关数据报告将在别处。天2和3是用于实验。提供知情同意后,填写初始问卷,参与者被随机分配给VDE或二分体和Arkime条件。在实验中,双合作熟悉网络拓扑和妥协的识别指标。VDE条件的参与者使用全息透镜2(微软)网络拓扑结构的可视化先生作为他们唯一的援助。Arkime条件的参与者也可用网络拓扑结构的二维示意图说明论文格式。
用于实验的网络拓扑结构和活动是使用网络2022年锁保护的数据可视化网络防御演习(CDX)提供的北约合作网络防御卓越中心(CCDCOE)。实验持续了大约每双2 h。
2.3。全息透镜2
微软全息透镜2(微软,微软,DC)已成为最常见的耳机先生用于各种研究,回答了企业和政府的互动实立体镜地可感知的多维数据可视化(ISPMDV;看到柯爱伦和恩格尔,2022 b介绍),其主要用于地理空间或本地空间数据集。在本研究中,全息透镜2被选为其功能,便于软件开发,和现有与VDE的兼容性。
2.4。网络拓扑的虚拟数据浏览和可视化
VDE (柯爱伦et al ., 2018,2019年,一个,b,2020年;(https://coda.ee/)允许用户感知的数据集的空间布局,例如计算机网络的拓扑结构,而结果ISPMDV (柯爱伦和恩格尔,2022,b)可以增强与额外的数据,如TCP / UDP网络节点之间的会话数。用户可以定制ISPMDV布局使用文本配置文件解析VDE服务器和使用而显示的可视化VDE客户机。
VDE功能解耦的服务器和客户端组件为了适应及时处理大型查询结果(从用户的数据集)在一个更强大的环境中(比一个无线耳机先生)在数据可视化的虚拟现实或耳机。VDE服务器还可以作为继电器同步可视化(例如,抓住对象的位置在连接用户的视图)之间的连接用户的会话这行为操纵一个连接用户的可视化表示的数据可以同步与其他连接用户使用相同的数据集。
只有一个子集的VDE功能是受雇于本研究:数据被加载到耳机以及应用程序(以避免任何可能的网络相关问题),VDE服务器只用于方便多用户会话。
一项研究表明,有一个需要更多实验认知科学家之间的合作和CDX组织者(问et al ., 2021 a)。在这项研究中,2022年北约CCDCOE锁定盾牌CDX蓝色团队参与者的网络拓扑可视化VDE和覆盖边缘(网络会话数)之间的数据集(网络实体)。视图在任何给定的时间内(根据用户的位置和方向)958节点和组,与789的边缘。
所有参与者感知ISPMDV被放置在相同的位置和方向在房间里研究(见图3一左边的图像)。参与者没有永久定位可视化组件的能力,但他们可以抓住(夹)节点,以更好地了解其连接而暂时移动节点。一旦节点的参与者放手,它顺利回到其初始位置。
图3。每个条件中使用的可视化工具的概述。(一)虚拟网络拓扑的数据浏览(VDE)表示。第一个图像面板(左边)描绘的概述本研究中使用的网络布局。第二个图像(右边)是一个代表特写(来自柯爱伦和恩格尔,2022)。白色箭头被叠加在右边的图像来表示节点/主机,边代表节点之间的连接,主机的IP地址。(B)图片描绘的2 d网络拓扑如图所示Arkime条件。第一个图像面板(左边)描绘了一个近似的网络拓扑的2 d表示如本文图表所示。第二个图像(右边)描绘了一个网络拓扑如图所示的图形表示的Arkime软件,点是主机和边缘在哪里它们之间的连接。参与者可以放大,选择节点看到独家连接,会话数量,等等。黑色的箭头被叠加在右边的图像来表示节点/主机,边代表节点之间的连接,主机的IP地址。
研究参与者没有先验知识的锁定盾牌2022网络和拓扑,拓扑可视化他们经历不是基于心理模型(创建后,将使用VDE的建议课程运用心智模型映射方法,网络安全;柯爱伦et al ., 2020)。相反,参与者收到一封介绍中描述的拓扑的任务一个程序(2.7.1节)。
2.5。Arkime数据包捕获软件
Arkime (v3.4.2 [https://arkime.com/])是用于准备数据集从锁着的盾牌2022网络流量的VDE ISPMDV视图,以及比较组使用2 d和文本信息。参与者得到Arkime实例,教会使用其接口的基本知识(会话和连接选项卡)。在连接选项卡中,参与者(见2 d图形视图图3 b,图片右边)到相同的节点和边集,VDE参与者与全息透镜。当参与者陷入瘫痪的边连接节点(主机),的流量是在左边的面板显示在任务描述两个程序(2.7.2节)。
2.6。硬件功能和操作稳定性
全息透镜2耳机有过热的趋势一段时间的使用后,在运行耳机冻结了VDE的Windows操作系统应用程序。这使得网络可视化用户的视图中闪烁。这个问题只有下半年开始显现或研究的第一天,我们怀疑这个问题源于热的问题。继续学习的,我们依靠三个全息透镜2耳机,其中两人使用的二分体在地板上,第三个被起诉。快速充电,然后放电而耳机的GPU和CPU被大量利用VDE的应用程序似乎太多了耳机的热浪子。参与者的故障切换耳机在审判是次优的,因此我们需要一个更可持续的设置。全息透镜2过热问题的解决方案是使用功率输出能力的电池组。设置在第二天的用户戴上耳机,虽然口袋里有电池,与功率输出能力的电缆连接到耳机。这允许使用的耳机不间断期间给定二分体的审判。
2.7。过程
这项研究是由NDCA。这两个实验条件并行进行,一次一个二的,在独立的房间,被隐蔽的其他活动。实验包括两个部分。在第一部分中,一个参与者从每双的网络拓扑结构,然后介绍了解释了其他二分体的参与者。在第二部分中,参与者在每一对不得不妥协的协作来鉴别指标。测量三次;基线测量,然后到达结果措施后的每个部分的实验。结果措施每一部分之后,参与者填写问卷评估任务成功,信心的答案,以及他们如何经历了交往的,协调、情感、和性能监控负载与他们的团队精神。后第二部分参与者还必须回答一些CSA-related他们没有明确要求解决问题,在任务指令。在实验中,言语交际和二分体的时间花在完成每一个任务被观察者得分。图4概述了研究和实验的每个部分。
2.7.1。任务一:了解网络拓扑
到达这个实验,二分体的参与者都是给他们访问的在线表单的链接与笔记本电脑。二分体的VDE条件花了几分钟在全息透镜他们要使用校准他们的眼睛之前填写问卷。一对被称为期间队友实验。
后与基线测量问卷的填写表单提交一个提示告诉参与者暂停并等待指示。两个参与者完成后填写问卷,参与者被要求在门外等着,直到一个由实验者召见。其他二分体的参与者被告知将在全息透镜(如果VDE条件)的网络拓扑结构的3 d表示或坐在桌子旁时,网络拓扑结构的二维示意图描述(Arkime条件)。
在确认在他们面前,他们看到一个网络参与者扮演了一个英语录音解释说,他们看到的是蓝色的网络团队必须在锁定盾牌2022 CDX辩护。录音持续了3分钟,30秒。这是向他们解释节点网络中的每一部分包括,什么被认为是正常的活动,在已知红团队节点,和哪些节点是未知的。VDE条件,参与者被指示遍历节点以及如何与探针为进一步信息的节点(例如,接触节点的IP地址或捏节点举起来看看哪些节点是连接)。
简报是只给一次(这是规定记录的开始)。录音结束后,参与者被指示,他们的任务是解释网络拓扑的队友。他们要求得到确认从他们的队友,他们已经理解的拓扑他们要么(1)一下如果队友不理解或(2)让实验者知道他们已经完成了任务。确认他们理解任务后,另一对的参与者是召唤,然后第一个参与者被告知开始在他们方便的时候。VDE条件,召唤的参与者被告知要穿上他们的全息透镜和确认他们看到网络表示在他们面前的第一个二分体的参与者被开始的信号。没有时间限制这一任务。
表明任务结束后,参与者被要求访问他们的笔记本电脑和继续填写调查问卷,直到得到一个提示要求他们等待进一步指示。VDE条件中,参与者被要求脱全息透镜在回答问卷。
2.7.2。任务二:识别红色团队目标主机蓝色团队系统
两个参与者完成后填写调查问卷,他们收到第二个任务的指令。VDE条件,参与者被告知再把全息透镜。这一次的3 d表示网络拓扑更新更多的边缘连接每个节点。边缘不同亮度根据会话的数量(交通)与连接相关联。
Arkime条件,参与者被介绍给的图表示蓝色的团队在Arkime网络拓扑。他们指示(1),他们可以看到他们的选择节点相关联的IP地址和通讯目标(由节点之间的边表示);和(2),他们可以看到相关的会话数(流量)每个连接的边缘连接每个节点的上空。边缘不同厚度取决于与连接相关的流量。
一对被指示找到五大红色团队合作主机(节点)针对蓝色团队系统根据每个连接的流量。为了这个任务,他们需要注意的有纸和笔的IP地址与每个确定红色团队主机。一对被指示确认当他们互相通知实验者之前完成了任务。
两种情况下看到同一个网络,与相同数量的节点和边和相同数量的交通。参与者的VDE条件不能看到每个连接的会话数但只能使用边缘亮度作为提示。参与者40分钟完成任务,虽然这没有透露。
在通知实验者,他们已经完成了任务,参与者被指示第三任务。如果时间耗尽前二的可以完成这项任务,他们被实验者停止,告诉完成最后的调查问卷。
2.7.3。任务三:确定蓝色团队主持滥用红色团队横向运动
第三任务,双指示合作找证据,如果有的话,红色的团队横向运动和记下五大蓝色的团队为此目的主机可能滥用的根据与连接相关的流量。
一对被告知他们有时间限制的时间期限是(40分钟的剩余时间,他们必须完成之前的任务)。至于前面的任务,他们被要求证实之间,他们已经完成了任务前信号实验者,他们做的。
完成任务后(或者如果时间跑出来),一对被指示完成最后的调查问卷。这是单独完成的。他们被允许看他们的笔记从任务2和3在回答关于主机和IP地址,但不允许在回答问卷时交流或合作。
Arkime组做完实验后,他们也第一个任务的VDE条件,接收指令如前所述。的角色任务Arkime条件是一样的,这意味着参与者解释他们的队友的拓扑Arkime的条件也在VDE条件。最初,我们希望Arkime组贯穿整个实验VDE条件。由于时间限制和实验需要在同一天进行,这是局限于完成第一个任务。这些测量数据相关的报道。
2.8。数据的措施
2.8.1发布。了解网络拓扑
每个定义(Endsley 1988;因特网和Brynielsson, 2014),收购CSA在CTS在网络环境中,一定会知道环境的正常状态。评估参与者的理解网络拓扑中,我们使用一个问卷在一定程度上促使了CSA的分析师问卷(人生如果et al ., 2017)。CSA调查问卷要求参与者画的描述网络拓扑与源和目标的攻击。作为我们的测量收集数字,我们采用强制选择问卷,参与者必须选择最正确的四个图片2 d网络拓扑的描述了。图像变化如何描绘蓝色团队之间的连接段,虽然有些网段失踪的不正确的拓扑图像。为了避免问题决议,图片编号,在叠层A3纸而参与者在网络形式提供了他们的答案。正确的答案得分为1,错误的答案得分为0。
我们最初的计划是有两套被迫选择问卷调查(在两个不同的格式)这两个条件必须回答。一组包括2 d图表,用于强制选择问卷管理在目前的研究中,而另一组网络拓扑是基于3 d图像在VDE表示。每组的问卷将因此有利的条件格式匹配条件(例如,2 d图像支持Arkime条件的2 d表示网络拓扑是工具提供给参与者)的一部分。当时的想法是,如果在强制执行一个条件更好的选择集,支持其他条件,这将谈谈对网络拓扑结构的理解水平的参与者能够从2 d图表或VDE表示。然而,由于时间限制,我们可以只使用一套被迫选择问卷调查。作为当前被迫选择问卷有利于Arkime条件下,它还作为测试是否诱发VDE表示过分自信如果VDE组执行这个测试比Arkime组,但同样有信心在他们的答案。
2.8.2。CSA项目1:敌对的行为
评估任务的结果两个,一个项目的问道:“什么是可能的红色团队目标主机,蓝色的团队系统?”。参与者写下五个IP地址,他们发现了在任务2。答案是用于生成三个变量:(1)总数的主机标识,(2)总数的正确识别主机,和(3)的会话总数正确识别主机。
2.8.3。CSA项目2:攻击的影响
进一步评估参与者的CSA,要求他们“选择蓝色团队段红色的团队一直试图妥协蓝色团队主机”。对于这个项目,参与者被给定一个多项选择问卷调查清单5个蓝色的团队可能影响段。参与者可以选择他们想要的。因为所有段的影响,答案在这个项目被添加进所有的段选择的参与者提供一个数值得分从0(正确答案的最低)到5(正确答案的最大值)。
2.8.4。CSA项目3:态势报告
网络威胁的评估他们的理解情况(意识的现状,是什么导致了它,以及它如何可能进化),参与者被要求回答三个定性,开放式的问题。开发的问题都来自军情报告的合著者之一在网络防御演习中使用。问题包括:“(1)描述你看到的活动(具体但不过度详细)”、“(2)你认为这是什么类型的事件?”、“(3)如果你能建议——行动应该做什么吗?”。
答案被蒙蔽,得分分别的一个合作者参与锁盾牌2022锻炼和接触到地面的真相所使用的数据集。答案在5点量表得分从0(不正确/无关)到1(正确/相关)。答案是给定一个总体k-score从0(不彻底)9(彻底)来表示的彻底性结合水平这三个问题的答案。
2.8.5。CSA项目4:敌对行为和攻击的影响
测量任务三的结果,参与者被问到:“如果有的话,是什么蓝色的红色团队的指标横向运动团队网络?BT(可能)的主机名称(ab)用于这一目的。“参与者写下他们确定在任务三的IP地址。答案在这个项目是用于生成三个变量:(1)总数的主机标识,(2)总数的正确识别主机,和(3)的会话总数正确识别主机。
因为所需的信息来解决任务三是提供给所有参与者随时启动的任务2、所有参与者必须回答这个项目无论他们有机会解决任务3。
2.8.6。对的答案
每个问题之后,参与者被要求评价他们是多么自信的回答11点范围从0到100%不等。
2.8.7。强迫选择决策任务
评估决策条件的影响,参与者被要求回答一个强迫选择决策的问题有四个可能的选择。项目问:“如果你只能选择一个行动,你会选哪一个?”。四个选择:(1)切断所有连接友好的网络外,(2)所选主机上启动事件反应,(3)对疑似的主机发动攻击的敌人可能会使用,或(4)切断连接的网段。另一个问题是问:“如果你选4,建议网络段是什么?”。每一个选择是用于生成四个变量得分为0(没有选择)和1(选择)。
2.8.8。团队工作负载问卷(选择项)
团队工作负荷的调查问卷(TWLQ;卖家et al ., 2014)被用来评估参与者有经验的工作负载需求团队任务中锻炼。项得分11点李克特规模从极低到非常高。高分表明更高水平的主观的工作负载。TWLQ由六个分量表分两个维度,团队协作组件(沟通、协调、团队性能监控)和任务组组件(分时,团队感情,团队支持)。本研究的目的,我们主要是感兴趣的通信需求的项目作为一个指标VDE是否会减少通信的要求。我们也感兴趣的项目协调相关需求,需求控制自己的情绪,和监控自己的性能需求。四个TWLQ物品管理的两倍;第一个任务结束时,第二个实验的最后。
2.8.9。结构观察
执行结构观察评估4言语交际行为发生的频率:(1)东方,定位、桥(OLB)过程,(2)感知共享心理模型,(3)任务决议,和(4)的沟通障碍。
OLB行为包括沟通行为的角度进行思考和接地的交流来实现一个共同的理解情况按照OLB模型(诺克斯et al ., 2018)。一些例子包括当二分体的成员问问题来探测对方的理解什么是沟通;调整语言(从技术减少技术),以确保接收者理解所传达的意义;和给对方更新维持相互分享他们在做什么和发现的概述在任何给定的时刻。
感知共享心智模型的行为包括言语交际相关的实现共享感知的相关任务。例子包括话语,如“过来看看这个,”“当我站在这里时,我看到x,”“你看到这个节点吗?与该节点通信,”等等。
以前的观察研究表明,团队沟通与任务相关决议不同,表现糟糕的球队在CDX (Jariwala et al ., 2012)。在我们的研究中,任务决议的行为包括言语交际相关的状态或完成特定的任务分配。例子包括参与者的二分体问对方“有多少主机现在我们发现吗?”,“我们必须找到了多少主机吗?”,“我们应该说,我们已经完成了任务?”。
沟通障碍的行为包括沟通二分体的参与者讨论过/打断对方,没有回答对方的问题,认为,走太长(超过2分钟)没有交流,等等。例子包括例子参与者开始解释他们所看到和其他参与者打断他们谈论他们在看什么。
两个观察者/程序员,每个条件,一个是用于项目的得分。分数每双由实验期间注意行为发生的频率。程序员同意如何分类行为实验前,同样的编码人员在整个实验过程中,确保使用的可靠性。两分的可靠性评估,观察人士同时得分的一个双执行双向混合,其次是绝对的、单一措施内部类(ICC)的相关性分析的原始分数为每个项目(乔舒亚和弗莱斯,1979;2012年,)。两分的是优秀的可靠性(ICC = 0.871;Cicchetti 1994)。观察人士还指出所花费的时间(分钟)完成每项任务。
2.8.10。用户体验测量
测量经验的参与者使用全息透镜2和VDE,我们在沉浸式虚拟环境管理的用户体验调查问卷(Tcha-Tokey et al ., 2016)。这些数据将被报道。
2.8.11。认知测试和自我报告的措施
我们收集一系列的认知特征和状态数据包括测量已确定为相关的性能在先前的研究网络学员和网络安全人员(诺克斯et al ., 2017;卢戈Sutterlin, 2018;Jøsok et al ., 2019;问et al ., 2021 b;Sutterlin et al ., 2022)。例如,积极的情绪和过度自信被发现与贫穷有关元认知判断的CSA在网络工程锻炼(问et al ., 2023),并在检测网络威胁网络入侵(没有直接关系Sutterlin et al ., 2022)。相反,自律能力测量通过自我报告和神经生理学指标被发现预测认知灵活性的心理语境转移(网络防御演习期间诺克斯et al ., 2017;Jøsok et al ., 2019)和更好的性能(元认知判断问et al ., 2023),分别。此外,元认知、自我调节和认知灵活性是必要的对于建立和交流CSA (Jøsok et al ., 2016;诺克斯et al ., 2018;Endsley 2020;问et al ., 2023)。认知与测试和数据收集自我报告问卷调查在这两天的实验。认知在第一天收集的数据包括认知风格、认知灵活性、情绪调节、心理意象生动,和沉思。认知实验期间收集的数据包括情感状态(基线)和元认知(预测他们认为他们将如何执行在基线校正的他们认为已经进行实验结束后)。如上所述,结果与认知有关数据报告将在别处。
2.9。数据分析
表中提供的数据进行了综述和使用意味着(M)和标准差(SD)连续数值变量,和频率(计数)和百分比(%)序数变量。
Shapiro-Wilk的正态性检验和确认目视检查显示大部分变量并不是正态分布。例外包括第一部分通信要求,第一部分协调要求,第一部分性能监控的要求,对CSA的信心1答案,对CSA的信心3描述,第二部分的情感需求,性能监控的要求,第二部分两个OLB和任务。非参数测试执行所有后续分析除了这些变量。
非参数分析,克鲁斯卡尔-沃利斯H测试是用于VDE组和Arkime组之间的比较。结果给出了H统计(自由度;df),p价值和效果。影响大小(η2)克鲁斯卡尔-沃利斯H测试计算(H- - - - - -k+ df) / (n- - - - - -k);在哪里H是克鲁斯卡尔-沃利斯统计,k组的数量,n是观测的总数(n= 22)。邓恩的因果测试是用来评估重要关系组织和报道之间的非参数变量z统计量和Bonferroni调整p值(pbonf)。
进行了参数分析,单向方差分析。方差分析的结果报告F统计(df),p价值和效果。影响大小(ω2)为方差分析计算平方和之间−(k- 1)内均方)/(平方和总+内均方)。图基的事后测试是用来评估重要关系之间的参数变量组和平均差(MD)和被报道pbonf。
差异是可视化和95%置信区间间隔的阴谋。
通信变量之间的关系明显不同的团体和CSA变量显著不同组之间的评估与斯皮尔曼相关(2-tailed) z变换变量。结果可视化热图和(ρ)和相关系数p值。单独的重要关系进行了回归分析。结果报告为标准化贝塔(β)p值,调整R2(),F(df)的统计数据。
α水平假设检验是对所有分析设置在0.05的水平。所有的数据进行了分析使用JASP版本0.15 (JASP团队,2021)。
3所示。结果
表1提出了参与者的描述性统计特征和实验测量结果。
3.1。VDE在网络态势感知的影响
3.1.1。基线网络拓扑识别
克鲁斯卡尔-沃利斯H测试评估条件的差异对任务执行一个结果变量。表2显示的结果对比VDE组和Arkime小组选择的正确形象描述网络拓扑,信心在图像选择,TWLQ项反应。
克鲁斯卡尔-沃利斯检验表明,VDE组选择正确的网络拓扑图像显著不同Arkime集团(p= 0.009)。邓恩的事后试验表明,VDE组选择正确的网络拓扑图像明显低于Arkime集团(z =−2.63,pbonf= 0.004)。
克鲁斯卡尔-沃利斯检验表明,信心在图像选择显著不同VDE组和Arkime集团(p= 0.006)。邓恩的事后试验表明,VDE集团有信心在他们的形象选择显著低于Arkime组(z =−2.73,pbonf= 0.003)。
没有观察到显著差异的TWLQ项目完成后测量任务。
3.1.2。红色的团队运动,攻击严重性,态势报告
克鲁斯卡尔-沃利斯H执行测试来评估条件的差异影响任务2和3的结果变量。表3显示的结果对比VDE组和Arkime小组识别红色团队目标主机蓝色团队系统,识别影响蓝色团队细分,评估观察活动,评估事件是什么,建议做什么行动的响应,确定蓝色团队主持滥用红色团队横向运动,信心回应,TWLQ项反应。
两双,一个来自VDE组和一个来自Arkime集团> 40分钟花在探索任务的拓扑。二分体的VDE集团花最少的时间在完成任务二的两个(15分钟)。Arkime组二的不能完成任务两个< 40分钟。最大的两个是35分钟时间完成任务。因此,一对必须完成任务的时间三个范围从5到25分钟。
组之间没有明显差异对完成任务两个40分钟的期限内(p= 0.495)。一般来说,VDE组得分高于Arkime小组所有性能结果和更低的分数在所有团队工作量措施的第二部分实验中,尽管并非所有这些团体之间的差异是明显不同的。
3.1.3。CSA 1:识别RT主机针对英国电信系统
克鲁斯卡尔-沃利斯的H试验表明,发现红色的总数团队目标主机蓝色团队系统显著不同的VDE和Arkime集团(p< 0.001)。邓恩的事后试验表明,VDE组识别更红团队目标主机蓝色团队系统相比Arkime组(z = 3.40,pbonf< 0.001)。
克鲁斯卡尔-沃利斯的H试验表明,正确的总数确定红色团队目标主机蓝色团队系统显著不同VDE组和Arkime集团(p< 0.001)。邓恩的事后试验表明,更正确的红色标识的VDE组团队目标主机蓝色团队系统相比Arkime组(z = 3.58,pbonf< 0.001)。图5一个显示了不同间隔的情节在正确识别红色团队目标主机蓝色团队系统。
图5。间隔块的差异识别红色团队目标主机蓝色团队系统。(一)正确识别红色团队主机。(B)交通与正确识别红色团队主机。会话的数量与正确识别宿主范围从27083年到75554年VDE组虽然Arkime组从0到254不等。(C)对答案的信心。胡须是95%置信区间。
克鲁斯卡尔-沃利斯的H试验表明,与红色标识的正确关联的活动团队目标主机蓝色团队系统显著不同VDE组和Arkime集团(p< 0.001)。邓恩的事后试验表明,更高度活跃的红色标识的VDE组团队目标主机蓝色团队系统相比Arkime组(z = 3.97,pbonf< 0.001)。图5 b显示了不同的间隔块交通与正确识别红色团队目标主机蓝色团队系统。
单向方差分析表明,信心在正确识别红色团队目标主机蓝色团队系统显著不同VDE组和Arkime集团(p= 0.012)。图基的事后试验表明,VDE组明显更有信心在正确识别红色团队目标主机蓝色团队系统相比Arkime组(MD = 27.45,pbonf= 0.012)。图5 c显示了不同间隔的情节如何自信的参与者在确定正确的主机。
3.1.4。CSA 2:识别妥协BT段
克鲁斯卡尔-沃利斯的H试验表明,发现蓝色的数量团队段被红色团队之间明显不同VDE组和Arkime集团(p= 0.003)。邓恩的事后测试表明,VDE组识别更多蓝色团队部分受损的红色团队相比Arkime组(z = 2.97,pbonf= 0.001)。
克鲁斯卡尔-沃利斯的H试验表明,信心在正确识别蓝色团队段被红色团队之间明显不同VDE组和Arkime集团(p= 0.042)。邓恩的事后试验表明,VDE组明显更有信心在正确识别蓝色团队段被红色的团队相比Arkime组(z = 2.03,pbonf= 0.021)。图6显示了差异间隔块VDE组和Arkime集团确定了妥协蓝色团队在确定了破坏段和信心蓝色团队段。
3.1.5。CSA 3:态势报告
克鲁斯卡尔-沃利斯的H试验表明,精度分什么类型的活动的描述他们看到明显不同VDE组和Arkime集团(p= 0.045)。邓恩的事后试验表明,VDE组相比有更高的准确性分数Arkime集团(z = 2.00,pbonf= 0.022)。
的准确性分数描述的类型的事件(p的相关性分数= 0.098),建议应该做的行为(p= 0.320)和彻底性k-score (p= 0.081)两组之间没有显著差异。
单向方差分析表明,军情报告描述的信心明显不同VDE组和Arkime集团(p= 0.040)。图基的事后测试表明,VDE组有更高的信心情况报告答案相比Arkime组(MD = 19.50,pbonf= 0.040)。
3.1.6。CSA 4:识别BT主机滥用RT横向运动
克鲁斯卡尔-沃利斯的H试验表明,无论是蓝色团队主持滥用红色的总数团队横向运动(p= 0.188),正确确定蓝色团队主持滥用红色团队横向运动(p= 0.055),也不会话的数量与正确确定蓝色团队主持滥用红色团队横向运动(p= 0.473)显著不同的团体,尽管不同数量的正确确定蓝色团队主持滥用红色团队横向运动接近意义。
克鲁斯卡尔-沃利斯的H试验表明,对答案的信心明显不同VDE组和Arkime集团(p= 0.010)。邓恩的事后试验表明,VDE集团信心明显高于他们的答案相比Arkime组(z = 2.57,pbonf= 0.005)。
3.2。VDE网络团队沟通的效果
3.2.1之上。自我沟通的要求
克鲁斯卡尔-沃利斯的H试验表明,通信要求在实验的第二部分是显著不同VDE组和Arkime集团(p= 0.048)。邓恩的事后测试表明,VDE组显著降低通信需求相比Arkime组(z =−1.98,pbonf= 0.024)。没有其他TWLQ措施组之间的明显不同。图7显示间隔块显示差异部分两个群体之间的通信需求。
3.2.2。观察的沟通行为
克鲁斯卡尔-沃利斯H测试和单向方差分析被用来评估分数上观察到的语言交流的差异之间的VDE组和Arkime组。表4礼物的结果比较。图7 b- - - - - -D显示了差异在任务两个间隔块OLB沟通,任务两个任务解决沟通,和任务两个沟通障碍。
克鲁斯卡尔-沃利斯的H试验表明,VDE组相比有显著不同的任务一个OLB的得分Arkime集团(p= 0.042)。邓恩的事后测试表明,VDE组更OLB通信在任务执行一个相比Arkime组(z = 2.03,pbonf= 0.021)。没有其他的比较是一个重大的任务。
单向方差分析表明,VDE组相比有显著不同的任务两个OLB的得分Arkime集团(p= 0.028)。图基的事后试验表明,VDE集团更OLB通信在任务执行两个相比Arkime组(MD = 5.16,pbonf= 0.028)。
克鲁斯卡尔-沃利斯的H试验表明,VDE组相比有显著不同的任务两个决议的得分Arkime组(p< 0.001)。邓恩的事后试验表明,VDE组显著减少任务执行决议通信在任务两个相比Arkime组(z =−3.99,pbonf< 0.001)。克鲁斯卡尔-沃利斯的H试验表明,VDE组相比有显著不同的任务两个沟通障碍的得分Arkime组(p= 0.043)。邓恩的事后试验表明,VDE组显著减少沟通障碍在任务两个相比Arkime组(z =−2.02,pbonf= 0.021)。克鲁斯卡尔-沃利斯的H试验表明,VDE组相比有显著不同的任务两个时间完成的得分Arkime集团(p< 0.001)。邓恩的事后试验表明,VDE组显著降低时间完成得分在任务两个相比Arkime组(z =−3.60,pbonf< 0.001)。
感知共享心理模型组之间没有显著差异。没有比较明显不同团体之间关于任务三个观测分数。
3.2.3。通信变量和CSA项目之间的关系
斯皮尔曼相关系数进行评估通信变量和CSA的变量之间的关系明显不同VDE组和Arkime组。图8提出了一个热图显示的结果相关性分析。
图8。斯皮尔曼热图显示结果(ρ)的相关性。2-tailed所有相关性。蓝色表示正相关性。红色表示负相关性。*p< 0.050,* *p< 0.010,* * *p< 0.001。OLB、东方、定位、桥(诺克斯et al ., 2018);CSA,网络态势感知;RT,红色的团队;BT,蓝色的团队;情况报告、态势报告。
任务一个OLB显著成绩,与任务两个OLB分数呈正相关(p= 0.035),总数确定红色团队目标主机蓝色团队系统(p= 0.009),总数正确识别红色团队目标主机蓝色团队系统(p= 0.005),并确定损害蓝色团队段(p= 0.018)。
任务两OLB分数显著正相关,总数量的正确识别红色团队目标主机蓝色团队系统(p= 0.048)。
任务两个分辨率显著成绩,积极与任务两个通信功能障碍(p= 0.018),通信的要求(p= 0.024),负相关的总数确定红色团队目标主机蓝色团队系统(p< 0.001),总数量的正确识别红色团队目标主机蓝色团队系统(p< 0.001),交通总量与正确识别红色团队目标主机蓝色团队系统(p< 0.001),确定受损蓝色团队段(p= 0.002),和信心在确定了蓝色团队主持滥用红色团队横向运动(p= 0.039)。
任务两个通信功能障碍评分的准确性分数显著负相关,描述他们看到什么类型的活动(p= 0.010),和信心在确定了蓝色团队主持滥用红色团队横向运动(p= 0.027)。
第二部分通信需求明显,正确识别出的红色与总数呈负相关的团队目标主机蓝色团队系统(p= 0.039),并确定损害蓝色团队段(p= 0.031)。
没有其他相关性显著。
单独进行了线性回归显著的相关性。重要的结果所示表5。任务两个决议是一个重大的负面预测总数确定红色团队目标主机蓝色团队系统(p< 0.001),总数量的正确识别红色团队目标主机蓝色团队系统(p= 0.002),交通总量与正确识别红色团队目标主机蓝色团队系统(p< 0.001),并确定损害蓝色团队段(p= 0.008)。没有其他关系意义重大。
任务两个沟通障碍是一个重大的负面预测的准确性分数描述他们看到什么类型的活动(p= 0.012),和信心在确定了蓝色团队主持滥用红色团队横向运动(p= 0.012)。
通信的要求是一个重大的负面预测总数的正确识别红色团队目标主机蓝色团队系统(p= 0.034)。没有其他关系意义重大。
3.3。VDE对决策的影响
所有的参与者除了两个(n= 20)选择“选择主机上启动事件反应”选项的强迫选择决策的任务。因此,两组之间没有差别。另外两个参与者,在VDE条件但不相同的一对,选择了“切断所有连接从外面的友好的网络”和“切断连接的网段”选项。
4所示。讨论
CTSs期间网络防御决策是基于人类交流旨在分析师级和决策人员之间建立一个共享的CSA (诺克斯et al ., 2018)。交流共享CSA SOC团队分析师(面临的主要问题之一诺克斯et al ., 2018;Agyepong et al ., 2019;问et al ., 2021 a)。当前可视化工具来支持实现共享的理解CTS包括2 d图形和网络拓扑结构示意图。这些可视化工具不能很好地扩展和增加复杂性。此外,SA三级似乎SA阶段大部分依赖于人类工作记忆(Gutzwiller和克莱格,2013年)。哺乳动物的大脑开发了一个天生的能力理解时间和空间(Eichenbaum 2014;雷和布莱希特,2016年;Berggaard et al ., 2018)。网络拓扑结构的3 d表示可以利用自动空间感觉流程(Stackman et al ., 2002;Angelaki卡伦,2008;莫泽et al ., 2008在通信),减少对工作记忆负荷。因此,3 d可视化neuroergonomic可能超过2 d表示通过促进更高效的沟通和共享态势理解CTSs期间,从而支持决策(柯爱伦et al ., 2019 a)。在这项研究中,我们比较了表示网络拓扑结构的3 d先生(柯爱伦et al ., 2018,2020年)与2 d影响拓扑识别、CSA、团队沟通和决策网络学员的一个示例。
在第一部分实验中,Arkime组表现得比VDE组在任务参与者识别的正确描述网络拓扑中四个2 d图表。这一发现并不出人意料,因为正确的描述是在相同的格式的二维示意图Arkime组用于熟悉拓扑。
3 d网络拓扑结构的可视化预计将neuroergonomic在某种意义上,他们利用先天神经认知过程对空间信息进行编码。另外,VDE可视化网络数据基于运营商的心智模型的网络维护(柯爱伦et al ., 2020)。虽然被neuroergonomic和保护之间的连接和会话节点,拓扑布局的可视化VDE并不代表实际的现实的网络。这可能是有问题的,如果3 d可视化有助于一个虚假的信心的拓扑由于视觉的理解有说服力。例如,先前的研究在网络学员已经表明,高自信结合直观的决策可能会对性能产生不利影响,当需要直觉决策(卢戈et al ., 2016)。有趣的是,在执行更糟糕的是,VDE集团也缺乏自信在他们的答案拓扑识别任务。因此,3 d可视化没有给出虚假的信心对拓扑识别。
意识的敌对行为是实现CSA建议是必要的网络防御决策(Barford et al ., 2009)尽管非技术涉众可能低估了这些信息的重要性(巴尔加et al ., 2018)。这可能对决策产生严重的后果,如果分析师级人员和决策者有不同思维模式的CTS和网络,特别是分析师级人员没有意识到这种差异在RCP通信(问et al ., 2021 a)。因为VDE允许可视化,从而共享心理模型,分析网络拓扑结构(柯爱伦et al ., 2018,2020年),这种潜在的信息需求差距(巴尔加et al ., 2018)可以更有效地弥补如果敌对的行为在RCP可以可视化共享。而非技术人员不包括在目前的研究中,VDE组优于Arkime小组任务时所有指标来识别五大红色团队目标主机蓝色团队系统。这是适用于正确地识别红色团队目标主机蓝色团队系统,特别是明显相关的交通标识的红色团队举办的差异相关的会话数量确定连接成千上万的不同。此外,VDE组识别相关的连接数量最高的交通虽然Arkime组没有。考虑到Arkime组可以看到与连接相关联的会话数量时徘徊在边缘连接节点VDE组仅靠边缘亮度,这种差异的表现可以说是最显著的实验结果。
考虑在SA(工作记忆的作用Gutzwiller和克莱格,2013年),它可以使用边缘亮度作为交通信号提供了一个优势获得实际的会话统计由于复杂性减少释放认知资源。尽管被允许写下他们的发现(如主机IP、会话数),在实际的统计数据可能导致故意或习惯性地从事分析方法需要额外的认知过程的应用。这可能包括工作记忆过程,注意分配和税收可能有害的工作环境中的性能,已经对认知资源(冠军et al ., 2012;索亚和汉考克,2018年)。或者,或者另外,可能是在网络拓扑结构固定在空间和规模,参与者可以从节点到节点,走了一个位点的方法/内存palace-effect (Legge et al ., 2012;瓦格纳et al ., 2021),由于空间编码信息(Stackman et al ., 2002;Angelaki卡伦,2008;莫泽et al ., 2008)。通过使用边缘亮度作为奇异注意力的线索结合空间布局,VDE可能提高性能通过允许增加易用性visuo-cognitive处理状态的网络。但如果受试者的任务就是要找到五个红色的底部团队主机(例如,罕见的或模棱两可的信号)针对蓝色团队系统(会话数量高于零)?例如,边缘亮度然后会分散注意力,或者不同的性能保持?在以后的研究中应该解决这个问题。
有趣的是,不知道他们已经超过Arkime组的参与者,参与者的VDE条件表示,他们会喜欢有会话数量可用于调查。这可能进一步表明,习惯性的征税或程序(例如,训练)认知过程可能导致组织之间的性能差异。在现实的场景中,然而,VDE不会用于替换包捕获软件或任何调查工具。相反,SOC分析师将他们所有的常用工具,尽管VDE将是一个额外的工具,分析师可以使用与网络数据根据他们的信息处理需求(柯爱伦和恩格尔,2022,b)。如果分析师更愿意询问会话统计数据,他们可以探测,通过共同手段或合并VDE。这反过来又加深他们对网络环境的理解它们在按照自己的方式,为自己或与分析师团队沟通时,决策者或利益相关者(柯爱伦et al ., 2019 a)。
意识影响的攻击也建议有必要实现良好的网络防御决策CSA (Barford et al ., 2009)。VDE集团在目前的研究中,发现更多的蓝色团队部分受损的红色比Arkime组团队。考虑到固有的不确定性网络域(Jøsok et al ., 2016),这不同的意识影响可能是有利的,当试图减少经验水平的不确定性都试图了解情况时,但也可能在评估CSA的诚信信息,尤其是对非技术人员。后者也被认为是重要的网络防御决策实现CSA (Barford et al ., 2009)。
评估潜在影响的VDE RCP沟通,我们要求参与者提供一个简短的态势报告基于三个开放式的问题,后来被用于生成三个分数基于准确性和相关性。符合Barford et al。(2009),旨在测量(a)的问题意识现状的描述他们看到的活动,(b)是什么导致它通过描述什么类型的事件,和(c)局势如何发展,建议应该采取哪些动作。生成k-score基于总体态势报告的彻底性。虽然VDE组得分高于Arkime组四个措施,只有之间的活动描述评分显著不同的组。
VDE集团在目前的研究中,发现更多的蓝色团队主机,滥用了红色团队横向运动。然而,这不是明显不同的两组之间(尽管数量的正确识别滥用蓝色团队主机走近意义)。考虑性能的不同任务2、缺乏差异表现任务三个可能是由于时间限制下工作的参与者。它也可能是由于样本容量有限。这将需要在将来的研究中得到解决。
在实验的第二部分,VDE组更有信心在他们的答案比Arkime小组所有CSA的措施。这应该考虑的事实,VDE组表现明显优于Arkime组的性能结果,更高的分数在所有性能结果(尽管不是所有的明显不同)。结果第四CSA措施问题(任务三个相关的问题)是唯一衡量的不是一个团体之间的分数明显不同。时也考虑到低信心得分VDE组实际上比Arkime执行组,它可以表明这些性能估计也是有根据的。第二个解释可能是,网络学员有良好的元认知准确性不管他们指定的条件。先前的研究在网络学员表示,他们在认知是相似的配置文件(卢戈Sutterlin, 2018),元认知准确性较高的网络学员有更好的CSA,而自负的网络学员有更糟糕的CSA (问et al ., 2023)。评估参与者的元认知的准确性对性能结果将在研究认知解决实验过程中采取措施。
这里重要的是重申,VDE不是一个工具进行法医分析本身。这是neuroergonomic网络拓扑可视化的工具按照分析师的心智模型的网络(柯爱伦和恩格尔,2022,b)。这允许分析师不必把工作记忆在精神上保持或导航的表示自己的心智模式,寻求理解CTS。因为个人VDE的合作将有相同的空间心理模型的网络(柯爱伦和恩格尔,2022,b),可能需要更少的精神努力地沟通,从而使知识转移效率。而实验任务和本研究的初步性质不捕获与充分的现实主义传统的SOC活动,它仍然一定程度上捕捉VDE如何影响沟通过程中当个人合作建立CSA。
在第二部分的实验中,参与者的VDE条件相比,经历了一个较低的通信需求的参与者Arkime状态,这表明VDE提高沟通效率。因此,当考虑到沟通效率低下是最大的一个,但至少研究分析师(SOC团队面临的问题Agyepong et al ., 2019;问et al ., 2021 a),这一发现可能表明VDE可以帮助解决一些沟通问题。
先前的研究已经表明,任务之间的通信是不同的贫困和执行网络团队在cdx (Jariwala et al ., 2012;问et al ., 2023),但是,专家网络分析师沟通不到新手网络分析师(Buchler et al ., 2016;卢戈et al ., 2017)。这可能表明,专家交流更有效(例如,更善于OLB流程;诺克斯et al ., 2018)和更容易实现共享心智模型的任务解决,网络威胁的情况(问et al ., 2023)。最近发现有一个缺乏研究描述通信等网络防御设置的目的交流和沟通的类型(问et al ., 2021 a)。在目前的研究中,我们注意到二元语言交流的频率,因为他们OLB相关流程,任务解决,实现共享的感知心理模型,和沟通障碍。我们发现,VDE集团执行更多OLB通信(旨在实现一个共同理解的情况;诺克斯et al ., 2018)在任务1和任务2、而Arkime集团执行更多任务解决通信和任务两个期间有更多的沟通障碍。在我们的回归分析,观察和自我报告的沟通变量得分高的Arkime组相比VDE组CSA的负面预测分数。这可能表明,VDE促进更高效的网络团队沟通,在未来的研究应该进一步评估。使用VDE的可能性在偏远的二元合作在将来的研究中也应评估来评估这些潜在影响是否存在可用当身体语言线索不是参与者。
在目前的研究中,几乎所有参与者选择相同的决定不管分配条件和个人的表现。这可能是由于群体效应等训练,但也可能是由于特定的认知网络工程专业选择概要文件卢戈和Sutterlin (2018)。这可以解释为什么行为的相关性得分情况报告建议的组没有差异。未来的研究应该包括更多样化的样本,以避免潜在的干扰影响VDE对决策的影响。因为建立了VDE可视化通过采访的用户可视化(分析师;柯爱伦et al ., 2018,2020年),三维布局的网络拓扑生成VDE通过以用户为中心的协同设计原则。由于参与者不熟悉他们使用的网络在目前的实验中,三维布局是预定义的。网络分析师通常会知道他们是网络操作,因此,总有一种可能,不熟悉网络的参与者选择“安全”和类似的决策选项。
4.1。局限性和未来的角度
目前的研究也有一些局限性。VDE组有更高的分数在所有性能措施和更低的分数在所有团队工作量措施的第二部分实验中,尽管并非所有这些显著不同。很难说差异是否达到意义更大的样本量。考虑这种可能性,试验应重复在一个更大的样本。
与大多数行为实验,实验设计是否产生结果的问题,可以推广到实际设置。由于风险高,演变成一个复杂的工作环境,网络攻防行动可以压力,经常需要接触大量的干扰(如安全警报,假阳性),可能随着时间而降低性能(冠军et al ., 2012;索亚和汉考克,2018年)。未来的研究应该包括更多的干扰,确保结果有很高的生态价值。这可能包括进一步阐述时间限制所有任务,或让参与者定期安全警报和增加的妥协(场景注射)指标。这反过来将允许评估征税不同的感官和认知系统如何影响VDE和CSA代Arkime可用性,团队沟通和决策。此外,应用VDE的设置捕获SOC的任务更多的现实主义,包括analyst-to-decision-maker通信将需要完全验证潜在的可用性VDE实现共享CSA。
虽然全息透镜2的整体性能很好,有一些例子的全息透镜2耳机过热负面影响应用程序的稳定性和强迫几分钟休息而耳机被取代。穿一个电池组,为全息透镜2设备提供了额外的力量似乎解决这个问题但是电池组的形式因素和缺乏专用的齿轮(参与者保持他们口袋里的电池)使它有点尴尬的经验。这应该是解决在未来的研究,以确保一个更加无缝的体验,在不同的条件下工作。
5。结论
在目前的研究中,一个协作、3 d混合现实的网络拓扑结构和网络攻击提供了更好的使用纸质CSA相比,二维拓扑结构图和包捕获软件Arkime图表示。最明显的区别是在检测五大红色团队目标主机蓝色团队的系统。相关的交通标识的红色团队主机在混合不同成千上万的现实条件。这是了不起的,因为参与者的混合现实条件只能使用边缘亮度作为交通参与者在Arkime线索条件可以看到实际的会话数量统计。观察和自我报告的沟通好二分体的VDE条件和有关CSA。这可能表明,VDE neuroergonomic好处当SOC团队分析师需要共享CSA沟通。尽管参与者在混合现实条件下更高的CSA,我们无法测量它对决策的影响。这可能是由于群体效应等培训或温和的样本大小。最后,实验任务和初步研究并不能反映SOC任务性质与充分的现实主义。因此,真正评估潜在影响的VDE通信共享CSA,这项研究应该重复在自然环境中与一个更大、更多样化的样本。
数据可用性声明
在本文中给出的数据并不容易获得,因为限制访问原始和处理数据,按照协议的研究人员和挪威国防大学网络学院(NDCA)。
道德声明
伦理审查和批准没有所需的研究对人类参与者按照地方立法和制度的要求。患者/参与者提供了他们的书面知情同意参与这项研究。
作者的贡献
助教:实验设计、数据收集、统计分析,和写作最初的草案,审查和编辑。乐:数据可视化应用程序的开发,实验设计,和写作,审查和编辑初稿。SS:实验设计、审查和编辑初稿。BK:实验设计、数据收集、审查和编辑初稿。德:写作、审查和编辑。RL:实验设计、数据收集、统计分析,和写作,审查和编辑初稿。所有作者手稿的最终草案批准。
资金
这项研究是由挪威研究委员会(项目# 302941)。开发的虚拟数据浏览器支持的部分是陆军研究实验室合作协议。w911nf - 17 - 2 - 0083和结合中国疾控中心指挥、控制、计算机、通信、网络、情报、监视和侦察(C5ISR)中心。开发虚拟数据浏览的部分是由NASA奖80号gsfc21m0002之下。
确认
一个巨大的感谢挪威国防网络学院帮助促进实验和北约CCDCOE给我们访问锁定盾牌2022网络数据。这个手稿的预印本通过PsyArXiv (问et al ., 2022)。
的利益冲突
作者声明,这项研究是在没有进行任何商业或财务关系可能被视为一个潜在的利益冲突。
出版商的注意
本文表达的所有索赔仅代表作者,不一定代表的附属组织,或出版商、编辑和审稿人。任何产品,可以评估在这篇文章中,或声称,可能是由其制造商,不保证或认可的出版商。
脚注
1。^RCN # 302941。项目网站:https://www.hiof.no/hvo/vlo/english/research/projects/acdicom/。
引用
Agyepong E。,Cherdantseva, Y., Reinecke, P., and Burnap, P. (2019). Challenges and performance metrics for security operations center analysts: a systematic review.j .网络安全工艺。4,125 - 152。doi: 10.1080 / 23742917.2019.1698178
Ahrend, j . M。Jirotka, M。,and Jones, K. (2016). “On the collaborative practices of cyber threat intelligence analysts to develop and utilize tacit threat and defence knowledge,” in2016年国际会议上网络态势感知、数据分析和评估(CyberSA)。(英国伦敦)。doi: 10.1109 / CyberSA.2016.7503279
Angelaki d E。,and Cullen, K. E. (2008). Vestibular system: the many facets of a multimodal sense.安。牧师>。31日,125 - 150。doi: 10.1146 / annurev.neuro.31.060407.125555
问,t·F。,诺克斯,b . J。卢戈,R。G., Helgetun, I., and Sütterlin, S. (2023). Neurophysiological and emotional influences on team communication and metacognitive cyber situational awareness during a cyber engineering exercise.前面。人类>。16日,1092056。doi: 10.3389 / fnhum.2022.1092056
问,t·F。,柯爱伦,K。,Sutterlin, S。诺克斯,b . J。恩格尔,D。,and Lugo, R. G. (2022). A 3D mixed reality visualization of network topology and activity results in better dyadic cyber team communication and cyber situational awareness.PsyArXiv(预印本)。doi: 10.31234 / osf.io / sphgn
问,t·F。卢戈,R。G., Knox, B. J., and Sütterlin, S. (2021a). “Human-human communication in cyber threat situations: a systematic review,” inHCI国际2021 -打破后期论文:认知、包容、学习和文化。HCII 2021艾德·c·Stephanidis (Cham: Springer) 21-43。doi: 10.1007 / 978 - 3 - 030 - 90328 - 2 _2
问,t·F。,Sutterlin, S。诺克斯,b . J。,and Lugo, R. G. (2021b). “Situational states influence on team workload demands in cyber defense exercise,” inHCI国际2021 -打破后期论文:认知、包容、学习和文化。HCII 2021艾德·c·Stephanidis (Cham: Springer) 3。doi: 10.1007 / 978 - 3 - 030 - 90328 - 2 _1
Barford, P。,Dacier, M., Dietterich, T. G., Fredrikson, M., Giffin, J., Jajodia, S., et al. (2009). “Cyber SA: situational awareness for cyber defense,” in网络态势感知信息安全的发展诉,eds s Jajodia, p . Liu Swarup和C。王(Cham: Springer) 3-13。doi: 10.1007 / 978 - 1 - 4419 - 0140 - 8 _1
Berggaard, N。Bjerke,我。,Paulsen, A. E. B., et al. (2018). Development of parvalbumin- expressing basket terminals in layer II of the rat medial entorhinal cortex.eNeuro5,e0438。doi: 10.1523 / eneuro.0438 - 17.2018
省钱诉D。,Copara, M. S., Gotman, J., and Ekstrom, A. D. (2017). Low-frequency theta oscillations in the human hippocampus during real-world and virtual navigation.Nat。Commun。8,14415。doi: 10.1038 / ncomms14415
Buchler, N。,Fitzhugh, S. M., Marusich, L. R., Ungvarsky, D. M., Lebiere, C., and Gonzalez, C. (2016). Mission command in the age of network-enabled operations: social network analysis of information sharing and situation awareness.前面。Psychol。7日,937年。doi: 10.3389 / fpsyg.2016.00937
冠军,m。Rajivan, P。,Cooke, N. J., and Jariwala, S. (2012). “Team-based cyber defense analysis,” in2012年IEEE国际多学科会议上认知方法的大局意识和决策支持(新奥尔良,洛杉矶。美国),218 - 221。doi: 10.1109 / CogSIMA.2012.6188386
Cicchetti, d . v . (1994)。指导方针、标准和规则的经验来评估赋范心理学和标准化的评估工具。Psychol。评估。6,284 - 290。1040 - 3590.6.4.284 doi: 10.1037 /
因特网,U。,and Brynielsson, J. (2014). Cyber situational awareness - a systematic review of the literature.第一版。安全46岁的18-31。doi: 10.1016 / j.cose.2014.06.008
Gutzwiller, r S。,and Clegg, B. A. (2013). The role of working memory in levels of situation awareness.j . Cogn。Eng。决策。麦。7,141 - 154。doi: 10.1177 / 1555343412451749
Jariwala, S。,Champion, M., Rajivan, P., and Cooke, N. J. (2012). Influence of Team Communication and Coordination on the Performance of Teams at the iCTF Competition.Proc,人为因素尔刚。Soc。安。见面。56岁,458 - 462。doi: 10.1177 / 1071181312561044
JøsokØ。,诺克斯,b . J。,Helkala, K., Lugo, R. G., Sütterlin, S., and andWard, P. (2016). “Exploring the hybrid space,” in增强认知2016。课堂讲稿在计算机科学(人工智能课堂讲稿)Schmorrow eds d d d,和c . m . m . Fidopiastis (Cham: Springer), 9744年,178 - 188。doi: 10.1007 / 978 - 3 - 319 - 39952 - 2 - _18
JøsokØ。,诺克斯,b . J。,Helkala, K., Wilson, K., Sütterlin, S., Lugo, R. G., et al. (2017). Macrocognition applied to the Hybrid Space: Team environment, functions and processes in Cyber Operations. in国际会议上增强认知(Cham: Springer), 486 - 500。doi: 10.1007 / 978 - 3 - 319 - 58625 - 0 - _35
JøsokØ。,卢戈,R。,诺克斯,b . J。,Sutterlin, S。,and Helkala, K. (2019). Self-regulation and cognitive agility in cyber operations.前面。Psychol。10日,875年。doi: 10.3389 / fpsyg.2019.00875
诺克斯,b . J。、JøsokØ。,Helkala, K., Khooshabeh, P., Ødegaard, T., Lugo, R. G., et al. (2018). Socio-technical communication: The hybrid space and the OLB model for science-based cyber education.军队。Psychol。350 - 359年。doi: 10.1080 / 08995605.2018.1478546
诺克斯,b . J。卢戈,R。G., Jøsok, Ø., Helkala, K., and Sütterlin, S. (2017). “Towards a cognitive agility index: the role of metacognition in human computer interaction,” inHCI国际2017 -海报扩展抽象(Cham: Springer) 330 - 338。doi: 10.1007 / 978 - 3 - 319 - 58750 - 9 - _46
Kuhrt D。,St. John, N. R., Bellmund, J. L. S., Kaplan, R., and Doeller, C. F. (2021). An immersive first-person navigation task for abstract knowledge acquisition.科学。代表。11日,5612年。doi: 10.1038 / s41598 - 021 - 84599 - 7
柯爱伦,K。,Asher, N. B., and Sample, C. (2019b). “Operator impressions of 3D visualizations for cybersecurity analysts,” in学报18欧洲网络战争和安全会议上,ECCWS 2019:葡萄牙Coimbra的大学艾德。克鲁兹,蒂亚戈;Simoe,保罗。(阅读、英国:ACPI) 257 - 266。
柯爱伦,K。,Buchanan, L., Komlodi, A., and Engel, D. (2020). “Mental model mapping method for cybersecurity,” in人机交互的网络安全、隐私和信任。HCII 2020,eds。答:Moallem (Cham Springer)。doi: 10.1007 / 978 - 3 - 030 - 50309 - 3 - _30
柯爱伦,K。,Cowley, J. A., and Ben-Asher, N. (2018). “Enhancing cyber defense situational awareness using 3D visualizations,” in学报13网络战与安全国际会议ICCWS 2018:国防大学,美国华盛顿特区(华盛顿特区:学术会议和出版国际有限公司)369 - 378。
柯爱伦,K。,and Engel, D. (2022a). “User interactions in virtual data explorer,” in增强认知。HCII 2022,eds。Schmorrow号,蔡玫Fidopiastis (Cham Springer): 13310。doi: 10.1007 / 978 - 3 - 031 - 05457 - 0 - _26
柯爱伦,K。,and Engel, D. (2022b). Interactive stereoscopically perceivable multidimensional data visualizations for cybersecurity.j .国防安全内核。抛光工艺。4,37-52。doi: 10.46713 / jdst.004.03
柯爱伦,K。瑞安,M。,and Trossbach, L. (2019a). VR/MR supporting the future of defensive cyber operations.IFAC-PapersOnLine52岁,181 - 186。doi: 10.1016 / j.ifacol.2019.12.093
Lankton, p (2007)。Endsley的态势感知模型(jpg)。网上:https://en.wikipedia.org/wiki/File Endsley-SA-model.jpg(9月13日访问,2022)。
Legge, e . L。,Madan, C. R., Ng, E. T., and Caplan, J. B. (2012). Building a memory palace in minutes: equivalent memory performance using virtual versus conventional environments with the Method of Loci.Acta Psychol。141年,380 - 390。doi: 10.1016 / j.actpsy.2012.09.002
生活,P。,Granasen, M., and Sommestad, T. (2017). “Development and validation of technique to measure cyber situation awareness,” in2017年国际会议上网络态势感知、数据Aanalytics和评估(网络SA)(英国伦敦)。doi: 10.1109 / CyberSA.2017.8073388
卢戈,R。,Kwei-Nahr, P., Jøsok, Ø., Knox, B. J., Helkala, K., and Sütterlin, S. (2017). “Team workload demands influence on cyber detection performance,” in13日国际会议上自然的决策(浴、英国)223 - 225。
卢戈,r G。,and Sütterlin, S. (2018). Cyber officer profiles and performance factors.工程心理学和认知工效学国际会议(Cham: Springer)。181 - 190。doi: 10.1007 / 978 - 3 - 319 - 91122 - 9 - _16
卢戈,r G。,Sutterlin, S。诺克斯,b . J。、JøsokØ。,Helkala, K., and Lande, N. M. (2016). The moderating influence of self-efficacy on interoceptive ability and counterintuitive decision making in officer cadets.j . Mil。螺柱。7,44-52。doi: 10.1515 / jms - 2016 - 0005
莫泽,大肠。Kropff E。,and Moser, M. B. (2008). Place cells, grid cells, and the brain's spatial representation system.安。牧师>。31日,69 - 89。doi: 10.1146 / annurev.neuro.31.061307.090723
北约合作网络防御卓越中心(2016)。北约承认网络空间作为一个域的操作在华沙峰会上。网上:https://ccdcoe.org/nato-recognises-cyberspace-domain-operations-warsaw-summit.html(9月13日访问,2022)。
雷,S。,and Brecht, M. (2016). Structural development and dorsoventral maturation of the medial entorhinal cortex.eLife5,e13343。doi: 10.7554 / eLife.13343.019
Safaryan, K。,and Mehta, M. R. (2021). Enhanced hippocampal theta rhythmicity and emergence of eta oscillation in virtual reality.Nat。>。24岁,1065 - 1070。doi: 10.1038 / s41593 - 021 - 00871 - z
索耶,b D。,and Hancock, P. A. (2018). Hacking the human: The prevalence paradox in cybersecurity.人为因素。597 - 609。doi: 10.1177 / 0018720818780472
西格尔,m·A。,Johnson, L. D., Chabot, E. S., Asaka, Y., and Berry, S. D. (2002). Oscillatory brain states and learning: Impact of hippocampal theta-contingent training.Proc, Nat。学会科学美国。99年,1616 - 1620。doi: 10.1073 / pnas.032662099
卖家,J。,Helton, W. S., Näswall, K., Funke, G. J., and Knott, B. A. (2014). Development of the team workload questionnaire (TWLQ).Proc,哼。尔刚的因素。Soc。为基础。满足。今年58岁,989 - 993。doi: 10.1177 / 1541931214581207
乔舒亚,p E。,and Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability.Psychol。公牛。86年,420 - 428。0033 - 2909.86.2.420 doi: 10.1037 /
Stackman, r·W。克拉克,a。,and Taube, J. S. (2002). Hippocampal spatial representations require vestibular input.海马体12日,291 - 303。doi: 10.1002 / hipo.1112
Staheli D。,Mancuso, V., Harnasch, R., Fulcher, C., Chmielinski, M., Kearns, A., et al. (2016). “Collaborative data analysis and discovery for cyber security,” in2016年汤:十二适用的隐私与安全研讨会”(Denver, CO)。
Steinke, J。,Bolunmez, B., Fletcher, L., Wang, V., Tomassetti, A. J., Repchick, K. M., et al. (2015). Improving cybersecurity incident response team effectiveness using teams-based research.IEEE安全内核。隐私13日,页。doi: 10.1109 / MSP.2015.71
Sutterlin, S。卢戈,R。,问,T。,Veng, K., Eck, J., Fritschi, J., et al. (2022). “The role of IT background for metacognitive accuracy, confidence and overestimation of deep fake recognition skills,” in增强认知。HCII 2022。Schmorrow课堂讲稿在计算机科学中,eds d d和c . m . Fidopiastis (Cham Springer): 13310年,103 - 119。doi: 10.1007 / 978 - 3 - 031 - 05457 - 0 - _9
Tcha-Tokey, K。,Christmann, O., Loup-Escande, E., and Richir, S. (2016). Proposition and validation of a questionnaire to measure the user experience in immersive virtual environments.Int。j .虚拟现实。16日,33-48。doi: 10.20870 / IJVR.2016.16.1.2880
巴尔加,S。,Brynielsson, J., and Franke, U. (2018). “Information Requirements for National Level Cyber Situational Awareness,” in2018年IEEE / ACM国际会议上社交网络分析和挖掘的进步(ASONAM)(西班牙巴塞罗那)774 - 781。doi: 10.1109 / ASONAM.2018.8508410
瓦格纳,i C。,Konrad, B. N., Schuster, P., Weisig, S., Repantis, D., Ohla, K., et al. (2021). Durable memories and efficient neural coding through mnemonic training using the method of loci.科学。睡觉。7,eabc7606。doi: 10.1126 / sciadv.abc7606
关键词:混合现实,3 d网络拓扑可视化、网络团队沟通,虚拟数据浏览,共享心智模型,网络态势感知,人为因素,网络安全
引用:问TF,柯爱伦K, Sutterlin年代,诺克斯BJ,恩格尔D和卢戈RG (2023) 3 D混合现实的可视化网络拓扑结构和活动的结果更好的二元网络团队沟通和网络态势感知。前面。大数据6:1042783。doi: 10.3389 / fdata.2023.1042783
收到:2022年9月13日;接受:2023年1月10日;
发表:2023年1月27日。
编辑:
穆罕默德Saqr东部大学芬兰,芬兰版权©2023问,柯爱伦,Sutterlin,诺克斯,恩格尔和卢戈。这是一个开放分布式根据文章知识共享归属许可(CC)。使用、分发或复制在其他论坛是允许的,提供了原始作者(年代)和著作权人(s)认为,最初发表在这个期刊引用,按照公认的学术实践。没有使用、分发或复制是不符合这些条件的允许。
*通信:Torvald f .问,torvaldfask@gmail.com