最后一篇文章发布了一个大型的、可公开访问的神经影像学数据库,该数据

简介: 最后一篇文章发布了一个大型的、可公开访问的神经影像学数据库,该数据库中的数据是由解码神经反馈(Decoded neurofeedback,DecNef)实验训练

原创 Synced 机器之心 机器之心分析师网络 作者:Jiying 编辑:Joni 这篇文章围绕机器学习(ML)和功能性磁共振成像(fMRI)的应用问题,以最新的研究型论文为基础,探讨基于统计学中 ML 的 fMRI 分析方法。

本文主要讨论的是机器学习(ML)和功能性磁共振成像(fMRI)的应用问题。

fMRI 主要用来检测人在进行各种脑神经活动时(包括运动、语言、记忆、认知、情感、听觉、视觉和触觉等)脑部皮层的共振讯号变化,配合在人脑皮层中枢功能区定位,就可研究人脑思维进行的轨迹,揭示人脑奥秘。

所以,利用 ML 连接 fMRI 图像,以了解人脑正在观察和思考的物件是理论上可行的。

虽然神经科学家在 20 世纪初就注意到了大脑血流有明显的变化,但是却一直没有找到合适的方法来测量这些变化。

20 世纪 80 年代出现了一种有效的方法:正电子发射体层摄影(术) (position emissiom tomography,PET)。

此外,PET 扫描的空间和时间图像分辨率非常低。

它们检测的区域至少有一毫米宽,需要 10 秒钟才能收集到足够的数据来形成图像。

磁共振成像(magnetic resonance imaging,MRI)可以在原子核振动的基础上构建更准确的大脑图像。

由于 MRI 扫描仪以不同的速度向许多位置发送信号,它可以通过解码不同的频段来成像。

不过在 MRI 成像时需要使用一种造影剂,这种造影剂可能对受试者的健康有危险。

幸运的是,在注意到核磁共振信号对大脑中血液循环的含氧量敏感后,许多研究小组在 90 年代提出了检测大脑活动的功能性磁共振成像(fMRI)的概念。

但是,尽管取得了一些成功,但是对这些基于统计学的科学推论我们仍需要谨慎分析和讨论。

fMRI 分析测量了数十万个称为体素(voxel)的小方块。

使用 fMRI 统计的另一个问题是所谓的 "非独立性(non independence)" 统计错误。

我们在这篇文章中,围绕上面的主题,以最新的研究型论文为基础,探讨基于统计学中 ML 的 fMRI 分析方法。

1、通过深度学习对人脑的任务状态进行解码和映射 本文是来自中科大和北大的研究人员 2020 年发表在 Human brain mapping 中的一篇文章[2]。

本文重点讨论基于支持向量机(SVM)的多变量模式分析(multivariate pattern analysis,MVPA)在基于人脑功能磁共振成像(fMRI)的特定任务状态解码中的应用。

本文作者提出了一个深度神经网络(DNN),用于从大脑的 fMRI 信号中直接解码多个大脑任务状态,无需人工进行特征提取。

关于根据脑功能成像数据解码和识别人脑的功能的问题,SVM-MVPA 是一种应用最为广泛的方法。

SVM-MVPA 是一种监督学习技术,可同时考虑多个变量的信息。

不过,SVM-MVPA 在高维数据中的表现欠佳,往往依赖于专家选择 / 提取特征的结果。

相对应的,具有非线性函数的 DNN 的分层结构使其能够学习比传统机器学习方法更复杂的输出函数,并且可以进行端到端的训练。

由此,本文提出了一个 DNN 分类器,通过读取与任务相关的 4D fMRI 信号,有效解码并映射个人正在进行的大脑任务状态。

1.1 方法介绍 1.1.1 数据介绍 本研究使用了 HCP S1200 最小预处理的 3T 数据版本,其中包含了大量年轻健康成年人的成像和行为数据[3]。

作者使用了 1034 名 HCP 受试者的数据,他们共执行了七项任务:情绪、赌博、语言、运动、关系、社交和工作记忆(wong memory,WM)。

具体用于实验分析的是 HCP volume-based 的预处理 fMRI 数据,这些数据已经被归一到 Moeal Neurological Institute's(MNI) 152 空间。

七项任务中的大部分是由控制条件(例如,WM 任务中的 0 - 回位和情感任务中的形状刺激)和任务条件(例如,WM 任务中的 2 - 回位和情感任务中的恐惧刺激)组成的。

WM 和运动任务包含一个以上的任务条件,作者则是从列表中随机选择一个(WM 的 2 个背部身体和运动的右手)(表 1)。

对于每个任务,输入样本是一个连续的 BOLD(Blood-oxygen-level-dependent imaging)序列,涵盖了整个区块和区块后的 8s 内的样本,包括血流动力学反应函数(hemodynamic response function,HRF)的后信号。

此外,将每个 BOLD volume 从 91×109×91 剪裁到 75×93×81,以排除掉不属于大脑的区域。

因此,输入数据的大小从 27×75×93×81 到 50×75×93×81(time × x × y × z,TR=0.72s)。

在所有的任务和受试者中,总共获得了 34,938 个 fMRI 4D 数据项。

其中,27×75×93×81 的数据是通过节 1.1.1 的预处理和数据增强步骤产生的。

第一层使用了 1×1×1 的卷积滤波器,即卷积神经网络(CNN)的结构中最普遍的设定,这些滤波器可以在不改变卷积层的感受野的情况下增加非线性。

这些滤波器可以为 fMRI volume 中的每个体素生成时间描述符,而且它们的权重可以在训练中由 DNN 学习得到。

因此,采用这种类型的过滤器后,数据的时间维度从 27 降到了 3。

为了便于网络可视化分析,作者在最后一个卷积层中使用了全卷积,而不是常见的 CNN 中的池化操作。

在卷积层堆叠之后,使用了两个全连接层;第一个有 64 个通道,第二个进行七路分类(每类一个)。

该模型将 fMRI 扫描作为输入,并标记的任务类别作为输出 对人脑进行特定任务解码面临的一个最大问题是可用数据有限。

与传统图像相反,本实验中的输入图像已经与标准的 MNI152 模板对齐。

在训练阶段的每个 epoch 中,从每个输入数据项中随机分割出 k 个连续的 TR 片段(实验中 k=27)(图 2a)。

为了避免报告的准确性出现波动,在验证和测试阶段只使用由每个数据的前 k 个 TR 组成的片段。

(a) 模型自动学习标记的 fMRI 时间序列的特征,并在验证的损失达到最小时停止训练。

可视化的数据具有与输入数据相同的大小,然后在时间维度上缩小,并映射到 fserage 表面 1.1.3 迁移学习 与传统方法相比,深度学习方法,特别是 CNN 的一个重要优势是其可重复使用性,这意味着训练好的 CNN 可以直接在类似的任务中重复使用。

迁移训练的工作流程与初始训练的工作流程基本相似(图 2a),只是它从一个前四层已经训练好的模型开始,而输出层是未训练的。

作者采用了 HCP 的 TEST-RETEST 任务 - fMRI 组的 TEST 数据集(N = 43)训练深度模型来分类两个 WM 任务子状态 ----0bk body 和 2bk-body。

作者采用了按主题划分的五重交叉验证,其中 60% 的数据(25 个主题的 100 个样本)用于训练,20%(9 个主题的 36 个样本)用于验证,20%(9 个主题的 36 个样本)用于测试(总共 172 个样本的规模与常用的 fMRI 研究数据集相当)。

使用五重交叉验证,其中 60%(25 名受试者的 400 个样本)用于训练,20%(9 名受试者的 144 个样本)用于验证,20%(9 名受试者的 144 个样本)用于测试(共 688 个样本)。

输入样本是一个连续的 BOLD 序列,涵盖了整个区块和区块后的 8 秒,包括 HRF 的后信号。

为了评估使用小样本量的 fMRI 研究的 DNN 的适用性,作者对来自 HCP TEST 扫描的 43 个对象的数据进行了深度分类器的训练。

为了避免准确性的差异,所有的测试都应用于 HCP TEST-RETEST 数据集中全部 43 名受试者的 RETEST 数据。

此外,作者使用传统的搜索光和全脑 SVM-MVPA 方法进行实验比较。

1.1.4 性能评估 为了评估该模型在不同分类任务中的表现,作者首先定义了一组参数。

每个任务条件的 F1 分数被计算为 TP、FP 和 FN 的函数:F1=(2×TP)/(2×TP + FP + FN)。

其中,TP 是真阳性,FP 是假阳性,FN 是每个标签的假阴性。

作者还通过一比一的方法计算每个标签的 ROC 曲线,参数灵敏度和特异性表示为:灵敏度 sensitivity=TP/(TP+FN),特异性 specificity=TN/(TN+FP),其中 TN 是真阴性,等于其余标签的 TP 之和。

1.1.5 网络可视化分析 本文使用引导反向传播(Guided back-propagation [4]) ,一种广泛使用的深度网络可视化方法,生成每个分类的模式图和输入 fMRI 4D 时间序列的任务加权表示。

在标准的反向传播过程中,如果一个 ReLU 单元的输入是正的,那么该单元的偏导就向后复制,否则就设置为零。

在引导式反向传播中,如果一个 ReLU 单元的输入和部分导数都是正数,则该单元的部分导数被向后复制。

因此,引导式反向传播保持了对类别得分有积极影响的路径,并输出 CNN 检测到的数据特征,而不是那些它没有检测到的特征。

如图 2b 所示,在向训练好的网络输入数据后,相对于输入数据产生了 27×75×93×81 的预测梯度。

本文的可视化对比分析是在 AFNI[5]、Freesurfer[6]、HCP Connectome Workbench和 MATLAB(MathWorks, Natick, MA)中进行。

为了比较传统的 GLM 图和模式图(pattern map),作者还从 HCP 任务的 fMRI 分析包中获取了参数估计对比度(COPE)的 Cohen 效应。

1.2 实验结果分析 首先,作者完成了针对深度模型在一般分类任务中的实验。

作者在实验中使用 NVIDIA GTX 1080Ti 板进行了约 30 个 epoch 的训练,所需时间大约 72 小时。

本文所提出的模型成功地区分了七个任务,准确率为 93.7±1.9%(mean±SD)。

根据 F1 得分,本文使用的模型 / 分类器在七个任务中的表现不同:情绪(94.0±1.6%)、赌博(83.7±4.6%)、语言(97.6±1.1%)、运动(97.3±1.6%)、关系(89.8±3.2%)、社交(96.4±1.0%)和 WM(91.9±2.3%,平均值 ±SD)。

平均混淆矩阵(The erage confusion matrix)显示,前两个混淆分别是由赌博与关系、WM 与关系引起的(图 3a)。

图 3b 显示了 ROC 曲线,根据该曲线,运动、语言和社交任务具有最大的曲线下面积(area under the curve,AUC),而赌博具有最小的面积。

在验证关键超参数的选择,即 1×1×1 核通道的数量(NCh1)时,模型记录的准确值分别为 93.2%、91.5% 和 92.7%,NCh1=3、9 和 27(图 3c)。

在 NCh1=1 的情况下,该模型无法在 30 个 epoch 内收敛。

图 3. HCP S1200 任务 fMRI 数据集上的深度学习分类结果 然后,为了确定对每个分类贡献最大的体素(Voxel,指一段时间内多次测量大脑某块区域),作者使用引导式反向传播法生成了模式图,以可视化模型学习到的模式。

图 4 给出了对任务 COPE 的 GLM 分析的 Cohen's d 效应大小的分组统计图(图 4a-g),以及 DNN 模式图的 Cohen's d(图 4h-n)。

如图所示,DNN 模式图上的 Cohen's d 与 GLM COPEs 上的情感、语言、运动、社交和 WM 任务相似。

例如,在语言条件下,GLMCOPEs(图 4c)和 DNN 模式图(图 4j)中的 bilateral Brodmann 22 区出现了较大的效应大小异常。

同样,在运动任务的右手运动条件下,两个图(图 4d,k)显示在 Brodmann 4 和 bilateral Brodmann 18 区有类似的效应。

图 4. HCP S1200 数据集上的 HCP 组平均值(左栏)和 DNN 热图(右栏)的 Cohen's d 效应 最后,关于迁移学习的问题,经过五次交叉验证,本文提出的 DNN 在测试中达到了 89.0±2.0% 的平均准确率(图 5a),平均 AUC 为 0.931±0.032(图 5b)。

如图 5c 所示,通过双样本 t 检验,DNN 的准确性明显高于 SVM-MVPA 全脑(t[8]=9.14,p=.000017;平均 ±SD=55.6±7.9%)和 SVM-MVPA ROI(t[8]=7.59,p=.000064;平均 ±SD=69.2±5.4%)。

图 5. 工作记忆任务分类的迁移学习结果(0bk-body 与 2bk-body) 经过五次交叉验证,本文提出的 DNN 的平均准确率为 94.7±1.7%(图 6a),平均 AUC 为 ROC 0.996±0.005(图 6b)。

平均混淆矩阵显示,最主要的混淆是由左脚与右脚造成的(图 6a)。

图 6c 显示,通过双样本 t 检验,DNN 的准确性(94.7±1.7%)明显高于 SVM-MVPA 全脑(t[8]=3.59,p=.0071;平均 ±SD=81.6±7.1%)和 SVM-MVPA ROI(t[8]=8.77,p=.000022;平均 ±SD=68.6±5.7%)。

图 6. 运动任务(左脚、左手、右脚和舌头)的分类迁移学习结果 小结:本文提出的方法能够直接从 4D fMRI 时间序列中对人正在进行的大脑功能进行分类和映射。

本文方法允许从简短的 fMRI 扫描中解码受试者的任务状态,无需进行特征选择。

此外,它的便利性、准确性和通用性的特点使得该深度框架可以很容易地应用于新的人群以及广泛的神经影像学研究,包括内部精神状态分类、精神疾病诊断和实时 fMRI 神经反馈等等。

2、使用深度生成神经网络从 fMRI 模式重建人脸 本文是发表在 Communications Biology 中的一篇文章[7]。

然后,向人类受试者展示了几千张人脸图像,并学习了多体素 fMRI 模式和 1024 个潜在维度之间的简单线性映射。

最后,将这一映射应用于新的测试图像,将 fMRI 模式转化为 VAE 潜在编码,并将编码重建为人脸。

2.1 模型介绍 本文所使用的 VAE-GAN 模型如图 7(a)所示,其中的三个网络学习完成互补的任务。

具体包括:编码器网络将人脸图像映射到一个潜在的表征(1024 维)上,显示为红色。

训练的过程具有 "对抗性",因为判别器和生成器的目标函数相反,并交替更新:如果鉴别器能够可靠地确定哪些图像来自生成器(假的),而不是来自数据库(真的),就会得到奖励。

网络中的 "人脸潜在空间" 了对大量人脸特征的描述,可以近似于人脑中的脸部表现。

在这个潜在空间中,人脸和人脸特征(例如,男性)可以被表示为彼此的线性组合,不同的概念(例如,男性,微笑)可以用简单的线性操作来处理(图 7b)。

作者分析,这种深度生成神经网络潜在空间的多功能性表明它可能与人脑的人脸表征有同源性,这也使得它成为基于 fMRI 的人脸解码的理想候选方法。

由此,作者推断,在对大脑活动进行解码时,学习 fMRI 模式空间和这种潜在空间之间的映射,而不是直接学习图像像素空间(或这些像素的线性组合,例如 PCA 等的处理方法),可能是非常有用的。

此外,作者推测 ,VAE-GAN 模型能够捕捉人脸表征的大部分复杂性,使 "人脸流形" 变得平坦,就像人类大脑可能做的那样。

(b)潜在空间属性 作者首先使用无监督 GAN 在 202,599 张名人人脸标记数据库上训练了一个 VAE 深度网络(13 层)(CelebA[8]),共执行 15 个 epoch。

使用编码器处理向人类受试者展示的人脸图像以生成 1024 维的潜在编码,这些编码作为设计矩阵后续会用于 fMRI GLM(一般线性模型)分析。

具体的,作者将每个实验的开始和持续时间(固定、训练脸、测试脸、单人背影或意象)输入一般线性模型(general linear model,GLM)中作为回归因子;将用于训练脸部的 1024 - 维潜在向量(来自 VAE-GAN 或 PCA 模型)作为参数化的回归器来建模,并将运动参数作为滋扰回归器(nuisance regressors)输入用于消除滋扰信号。

此外,在估计 GLM 参数之前,令整个设计矩阵与 SPM 的血流动力学反应函数(hemodynamic response function,HRF)进行卷积处理。

作者训练了一个简单的大脑 fMRI 的编码器(线性回归),将人脸图像的 1024 维潜在表征(通过 "编码器" 运行图像,或使用 PCA 变换获得)与相应的大脑反应模式联系起来,并将人类受试者在扫描仪中观看相同的人脸时记录下来。

图 8(a)给出了这一过程的完整描述。

每个受试者平均看到超过 8000 张人脸(每个人都有一个演示),使用 VAE-GAN 潜在维度(或图像在前 1024 个主成分上的投影)作为 BOLD 信号的 1024 个参数化回归因子。

这些参数化的回归因子可以是正的,也可以是负的(因为根据 VAE 的训练目标,VAE-GAN 的潜在变量是近似正态分布的)。

将一个额外的分类回归因子("面部与固定" 对比)作为一个恒定的 "偏差" 项添加到模型中。

作者验证了设计矩阵是 "full-rank" 的,也就是说,所有的回归因子都是线性独立的。

作者分析,这一属性是因为 VAE-GAN(和 PCA)的潜在变量往往是不相关的。

因此,由 SPM GLM 分析进行的线性回归产生了一个优化的权重矩阵 W,以预测大脑对训练人脸刺激的反应模式。

(b)测试阶段 假设在 1025 维的人脸潜在向量 X(包括了一个偏置项)和相应的大脑向量 Y 之间存在一个线性映射 W: 训练大脑通过以下方式找到最佳映射 W: 为了在 "测试阶段" 使用这个大脑,作者简单地反转了线性系统,如图 8b 所示。

作者向同一受试者展示了 20 张新的测试人脸,这些人脸在训练阶段并没有向受试者展示过。

所得的大脑活动模式简单地与转置的权重矩阵 W^T 及其反协方差矩阵相乘,以产生 1024 个潜在人脸维度估计值。

然后,使用 GAN(如图 7a 所示)将预测的潜在向量转化为重建的人脸图像。

对于基线 PCA 模型,方法的流程是相同的,但人脸的重建是通过解码的 1024 维向量的 inverse PCA 获得的。

测试大脑包括使用学到的权重 W 为每个新的大脑模式 Y 检索潜在的向量 X,利用下式求解 X: 作者已经将本文使用的预训练的 VAE-GAN 网络以及 Python 和 TensorFlow 源代码公布在了 GitHub 上:https://github.com/rufinv/VAE-GAN-celebA. 2.2 实验结果分析 本实验中,通过 Amazon Mechanical Turk (AMT)获得用于比较 VAE-GAN 和 PCA 人脸重建的图像质量的人类评价结果。

四个受试者的 20 张测试图像中的每一张都标记为 "原始 ”,然后是 VAE-GAN 和基于 PCA 的重建图像,在" 选项 A "和" 选项 B "的字样下显示。

每对图像总共被比较了 15 次,由至少 10 个不同的 AMT" 工作者 " 进行,每个反应分配(VAE-GAN/PCA 为选项 A/B)由至少 5 个工作者查看。

因此,该实验在两个人脸重建模型之间总共进行了 1200 次(=4×20×15)比较。

作者首先对比了 VAE-GAN 和 PCA,将灰质体素的一个子集定义为 "兴趣区域" (ROI)。

作者的 ROI 只选择生理上的可能应激大脑区域,选择标准考虑了两个因素。

(i) 预计体素会对人脸刺激作出反应(通过脸部和基线条件之间的 t 检验来确定,即固定在空屏幕上),(ii)将 1024 个潜在人脸特征作为回归因子输入线性模型时,体素的 BOLD 反应的解释方差有望改进(与只有二元人脸回归因子的基线模型相比:存在 / 不存在人脸)。

所选的体素如图 9 描述,包括 枕部、颞部、顶部和额部区域。

作者对 PCA 人脸参数进行了单独的选择, 并将这些参数用于基于 PCA 的 "大脑"(所选体素的平均数量:106,685;范围:74,073-164,524);两个模型所选区域几乎相同。

在大脑训练阶段,体素的选择是基于其视觉反应性和 GLM 拟合度的综合考虑(图 8a)。

彩色的线表示标准皮质区域的边界 图 10(a)给出了人脸重建图像的示例。

虽然 VAE-GAN 和 PCA 都能重建出与原始人脸相似的图像,但是由 VAE-GAN 重建的图像更真实,更接近原始图像。

作者通过将 20 张测试人脸的大脑估计潜在向量与 20 张实际人脸的潜在向量相关联来量化大脑解码系统的性能,并使用成对相关值来测量正确分类的百分比。

实验结果表明,从人脑到 VAE–GAN 潜在空间的线性映射比到 PCA 空间的映射更容易、更有效。

作者认为,这与其 “深度生成神经网络更接近于人脸表征的空间” 的假设相吻合。

实验要求人类观察者比较两种模型重建的人脸质量:四个受试者的原始测试图像与相应的 VAE-GAN 和 PCA 重建图像一起显示,受试者判断哪一个重建图像从感知角度判断更像原始图像。

76.1% 的实验中受试者选择了 VAE-GAN 重建的图像,而 23.9% 的实验中受试者选择了 PCA 重建的图像。

(a)重建人脸图像示例;(b)两两识别结果;(c)完全识别结果 进一步的,为了确定哪一个大脑区域对两个大脑解码模型的人脸重建能力贡献最大,作者将每个受试者的体素选择划分为三个大小相等的子集,如图 11a 所示。

两两识别结果显示,枕骨体素和较小程度的颞体素了大脑解码所需的大部分信息(图 11b)。

(a)体素分割过程;(b)不同区域的两两识别结果,Full select 指的是图 9 中描述的体素集;它与图 10b 中的数据相同。

在所有情况下, VAE-GAN 模型的性能仍然高于 PCA 模型。

最后,作者通过创建一个简单的分类器以根据人脸属性为大脑解码的潜在向量贴标签的方式,研究人脑对于特定人脸属性的表征。

将每个大脑解码的潜在向量投射到潜在空间的 "性别" 轴上(图 12a),投射的符号决定了分类输出(正数代表“男性”,负数代表“女性 ”)。

由图 12b 的结果可以看出,这个单一衡量标准的分类器了足够的信息来对人脸性别进行分类,准确率达到了 70%。

非参数 Frman 检验表明,性别解码性能在三个体素子集中是不同的,而 post hoc 检验则显示枕叶体素的表现明显好于额顶叶体素,而颞叶体素介于两者之间。

(a)基本线性分类器;(b)解码准确度 3、AI 解码大脑神经反馈动力学 - 用于解码神经反馈实验的数据 本文是来自日本 ATR 国际学院计算神经科学实验室的研究人员发表在《Scientific Data》2021 上的一篇文章[9],主要为利用 AI 解码大脑神经反馈以读取和识别大脑中特定信息的方法实验所需的数据。

解码神经反馈(Decoded neurofeedback,DecNef)是一种闭环 fMRI 神经反馈与机器学习方法相结合的形式,意思是分析 fMRI 的状态改变外围不同设备(比如被测者面前的显示器)的刺激。

本文针对 DecNef 实验,了可应用的数据来源。

作者发布了一个大型的、可公开访问的神经影像学数据库,其中包括 60 多个接受 DecNef 训练的人。

3.1 DecNef 背景分析 在单变量(univariate)方法中,人们具体测量一个感兴趣区域(ROI)的整体活动水平。

与此不同,多体素模式分析(multivoxel pattern analysis,MVPA)则是学会对分布在活动模式中的信息进行解码。

DecNef 利用了 MVPA 而不是使用单变量方法,因此它具有很高的目标特异性。

此外,解码神经反馈实验甚至可以通过一种称为 "超边界(hyperalignmen)" 的方法,根据受试者间接推断出目标神经表征。

这些转换是有效的参数,可以用来将任何新的数据模式带入 / 带出个人的大脑坐标系统和模型空间坐标。

上述特点使得 DecNef 成为了开发新的临床应用的一种有效工具,特别是在神经精神疾病方面。

除了面向临床的研究外,DecNef 还可以作为系统和认知神经科学的一个重要范式来研究大脑的基本功能。

不同的 DecNef 实验探究的是不同的认知过程或心理表征,但所有研究都采用了相同的基本设计逻辑(如图 13a)。

(1)最初的环节是获取 fMRI 数据,用于训练机器学习算法—MVPA 或构建环节。

(2)随后的神经反馈阶段,持续 2 到 5 天不等。

在构建环节,受试者完成了简单的动作,包括视觉(研究 2、3)、偏好(研究 1)、知觉(研究 4)或记忆任务(研究 5),在神经反馈环节,所有程序几乎都是相同的(图 13b)。

在神经反馈训练中,要求受试者调节或操纵他们的大脑活动,以最大限度地扩大反馈盘(feedback disc)的大小。

(a) 每项研究都包括一段 fMRI,用于获得构建 "" 所需的数据,这是一个机器学习的大脑活动模式分类器。

(b) 所有的研究都有相同的基本实验设计 到目前为止,全世界只有少数研究小组有机会完成这种技术上具有挑战性的实验。

不过,关于 DecNef(以及一般的神经反馈)的一个关键问题仍未解决:潜在神经机制究竟是什么?

表 2 总结了已有的部分研究,包括相关出版物、神经反馈过程训练目标等内容。

表 2. 纳入数据收集的研究摘要 3.2 数据分析 关于本文的源数据,表 3 给出所有研究中使用的扫描参数的技术细节,以及不同研究之间的差异。

表 3. 不同研究之间的扫描参数 可通过机构存储库 "DecNef 项目大脑数据存储库(DecNef Project Brain Data Repository)"(https://bicr-resource.atr.jp/drmd/),或从 Synapse 数据存储库 (https://doi.org/10.7303/syn23530650) 访问数据。

其中有三个子文件夹,"anat" 包含与结构 / 解剖扫描有关的原始 Nifti 文件,"func"—进一步细分为特定会话文件夹(例如,"ses-0":,"ses-1":神经反馈的第一个会话,等等),包含所有来自功能扫描的压缩 Nifti 文件。

图 14. 数据集结构和内容 对高分辨率的解剖学扫描进行涂抹处理,以确保结构数据的适当匿名化。

使用统计参数绘图(SPM)工具箱(https://www.fil.ion.ucl.ac.uk/spm/)对图像进行偏差校正,并使用 FreeSurfer 套件的自动涂抹工具进行涂抹。

图 15. 受试者结构扫描的匿名化(污损)处理示例 鉴于 DecNef 方法的细粒度、高空间分辨率的要求,用于在线反馈计算的大脑图像的功能排列需要具备非常高的会话间一致性。

尽管使用 Turbo BrainVoyager(TBV,Brain Innovation)实时校正头部运动,但并不能保证校正后的图像在解码方面是有意义的,尤其是在突然出现明显位移时。

首先,在诱导期测量的功能图像使用 TBV 进行三维运动校正。

第二,从识别的每个体素中提取信号强度的时间序列,并将其移位 6 秒以考虑到血流动力学延迟。

第三,从时间过程中去除线性趋势,并使用从每次 fMRI 运行开始后 10 秒测量的信号强度对每个体素的信号时间过程进行 Z-score 归一化处理。

第四,计算反馈分数的数据样本是通过平均每个体素在诱导期的 BOLD 信号强度来创建的。

在目标体素的模式方面,控制数据质量的一个有效方法是首先计算它们的平均(用初始构建会话的数据)。

作者证实,所有的研究确实都能满足此条件(图 16)。

平均来说,只有不到 2% 的实验的 z 值小于 1.26(研究 1:0.13%,研究 2:3.17%,研究 3:0.91%,研究 4:0.36%,研究 5:3.74%)。

图 16. 平均活动模式和实时活动模式之间的费舍尔转换相关性(Fisher transformed correlation)。

将 z<1.10 的数据点从图中删除 接下来,作者建立了头部运动和模式相关度之间的关系。

为了这个分析的目的,作者通过对相关的 3 个参数进行平均化处理来计算平均绝对旋转和平均绝对平移,在神经反馈实验中使用的 3 个 TR 来计算的可能性和模式的关联性。

作者将这两个头部运动指数(以毫米为单位)与所有研究中汇集的 Fisher 转换后的相关系数(即模式相关度)进行了对比(如图 17 所示)。

具体来说,这些 LME 模型的设计是将运动作为固定效应,实验研究作为随机效应和协变量,个体受试者作为随机效应而嵌套在实验研究中。

头部运动被计算为三维方向上的旋转(a)或三维方向上的平移(b),并与 Fisher 转换后的模式相关系数成图。

每个数据点表征一个特定受试者、运行和实验 最后,其他的生理噪声源(如心跳或呼吸)也会影响用于实时解码的多体素活动模式。

但由于所有体素的活动首先经过基线归一化处理,然后通过计算体素的活动模式与权重向量之间的点积来确定反馈似然,因此重要的是体素的模式(体素活动之间的 "差异")。

由此,作者指出,由于 MVPA 的特殊性,额外的噪声源不太可能在不影响模式相关度的情况下显著影响体素活动模式的信息内容。

其中, 第一篇文章介绍了基于 SVM 的多变量模式分析在基于人脑功能磁共振成像(fMRI)的特定任务状态解码中的应用。

具体的,作者引入一个 DNN 分类器,通过读取与任务相关的 4D fMRI 信号,有效解码并映射个人正在进行的大脑任务状态。

DNN 的分层结构使其能够学习比传统机器学习方法更复杂的输出函数,并且可以进行端到端的训练,进而提升了大规模数据集中 fMRI 解码的准确度水平。

利用 VAE-GAN 模型,学习多体素 fMRI 模式和 1024 个潜在维度之间的简单线性映射。

然后将这一映射应用于新的测试图像,将 fMRI 模式转化为 VAE 潜在编码,并将编码重建为人脸。

最后一篇文章发布了一个大型的、可公开访问的神经影像学数据库,该数据库中的数据是由解码神经反馈(Decoded neurofeedback,DecNef)实验训练得到的,除了面向临床的研究外,该数据库还可以作为系统和认知神经科学的一个重要范式来研究大脑的基本功能。

利用 ML 连接 fMRI 图像,可以分类人脑正在观察和思考的状态,甚至重建正在联想的人脸内容。


以上是文章"

最后一篇文章发布了一个大型的、可公开访问的神经影像学数据库,该数据

"的内容,欢迎阅读优好科技的其它文章