虚拟现实环境中的注意力与状态识别
发布时间： 2023-08-04 点击次数： 334次
来自波兰的研究人员在 Sensors 杂志上发表文章，探讨了虚拟现实（VR）和近红外技术的实际结合问题。他们设计了一套综合实验平台，其中包含 CW-fNIRS 和头戴式显示（HMD）技术，并使用变体后的经典 n-back 任务（2-back 版本）在虚拟现实中进行实验。结果证实了结合 fNIRS 和 HMD 技术，实验者可以有效地将实验性认知过程转移到可控的 VR 环境中。
功能性近红外光谱(fNIRS)是功能神经成像技术之一，使用波长为650-950nm的近红外光来测量皮质脑区的血流动力学反应。近红外系统通常使用激光或LED发射连续波(CW)近红外光。VR技术已被用于注意力技能的研究和训练，已有许多结合VR和近红外技术的案例和论文。结合VR和FNIRS技术，通过训练程序调节注意力状态的可行性已经得到证明。识别注意状态可以用于监测受试者在任务中的参与度。用户与系统的交互体验可以通过视觉量表和问卷来测量其满意度。DLFPC 和 MFG 区的血流动力学活动 (HbO/HbR 浓度变化 ) 在增强注意力投入 (n-back 任务 ) 和放松状态之间的差异将显著高于研究组的机会阈值水平。用户与系统的交互体验(fNIRS+HMD) 将高于满意度评估量表的平均值。12 名受试者 (10 名女性 )，年龄 21-34 岁 (M = 24.82;SD = 4.38) 参与实验。实验中所有参与者均为右利手，裸眼视力和校正后视力正常。近红外信号被记录在一个双波长 (760 和 850 nm) fnirs系统中 ((Cortivision sp. z o.o., Lublin, Poland）。其中共有16 个LED光源和10探测器。在线阶段的数据处理在OpenViBE 3.1.0 (Inria Hybrid Team, Rennes, France)上使用自定义Python 脚本进行。使用 Unity3D 引擎开发 VR 场景，并在Oculus Quest(Facebook Technologies, Menlo Park, CA, USA)上显示。实验装置包括无线一体化 VR 护目镜 和可穿戴 fNIRS设备。在数据记录过程中，参与者是坐着的，设备是无线连接的。使用视觉模拟量表 (Visual Analogue Scale, VAS) 来评估两组实验结束后的总体主观满意度。评估采用 11 分制"。使用改良版的魁北克辅助技术用户评价 (eQUEST 2.0) 来测量参与者对使用系统满意度。step1：需要判断当前水果在两个水果之前是否看到过。当法师扔出能量球时代表放松。step3：要求被试只在脑内做同样的任务。物体的运动方向直接由分类输出信号控制。实验中，任务和休息依次交替。在每个“2-back"任务块中，水果列表随机分为3个目标、7个非目标。近红外数据由Cortivision PHOTON CAP系统收集。使用了10个通道。此外，在F3和F4位置放置了两个短距离通道（见图3）。对于所有数据通道，光源与探测器之间的距离保持在30毫米左右。短通道的距离则固定为10毫米。光源和探测器的放置位置是基于软件中的预定义位置进行选择的。三个感兴趣区域（MFG、L-DLPFC、R-DLPFC）被自动从脑区解剖翻译为10-5国际系统位置。将原始光强度转换为光密度。处理记录的前5秒期间记录基线。然后将光密度转换为氧脱氧血红蛋白（HbO/HbR）浓度。然后，基于VR应用程序流标记进行基于刺激的分段。。进行低通滤波。采用广义线性模型 (GLM) 进行特征提取，并进行进一步分析。将获得的包含提取特征的数据集分为五部分进行五次交叉验证。每次重复交叉验证都包括以下步骤：
- Z-score标准化：训练集和测试集的z-score标准化。
- SVM分类器被用来区分两个类：“放松"和“2-back任务"。
单样本非参数Wilcoxon符号等级检验的结果表明，校准阶段的分类精度为M=88.58，SD=8.49，显著高于Müller-Putz等人为两类BCI计算的95%的概率上限(T=78，p<0.01，rrb=1)。然而，我们在在线条件下没有观察到显著差异(M=61，SD=14.89，T=6，P=0.107)。同时，这两种情况都显著高于50%的机会水平(校准：t=78，p<0.001，rrb=1；在线：t=31，p<0.001，rrb=0.72)。表给出了校准和在线会话中所有参与者的平均分类精度结果。用户对系统的交互整体满意度平均为6分，接近满分11分的“非常满意"评分。调查发现，在交互中得分的方面是安全性和易用性。对于系统的其余方面，评分平均为5级以上，包括调节性、尺寸、可靠性、重量和舒适性。根据感兴趣的区域对血流动力学变化进行分类，可以识别出注意力增强和放松程度。在实验中，头戴式显示设备和移动fNIRS交互的总体用户满意度较高。此外，开源实时数据处理软件中的信号处理方式可以为未来的脑机接口和神经反馈研究提供框架。便携式fNIRS和虚拟现实系统在更自然条件下研究认知过程是可行的。Zapała, D., Augustynowicz, P., & Tokovarov, M. (2022). Recognition of Attentional States in VR Environment: An fNIRS Study. Sensors, 22(9), 3133.
您的位置：
在线交流
咨询电话