Through Their Eyes：用简单对齐实现跨被试与跨数据集视觉脑解码

Through Their Eyes用简单对齐实现跨被试与跨数据集视觉脑解码原论文Through their eyes: Multi-subject brain decoding with simple alignment techniques作者Matteo Ferrante、Tommaso Boccato、Furkan Ozcelik、Rufin VanRullen、Nicola Toschi期刊Imaging Neuroscience, Volume 2, 2024DOI10.1162/imag_a_0017030 秒看懂这篇论文视觉 fMRI 解码长期依赖“每个被试单独训练一个模型”。Ferrante 等人的核心问题是如果已经有一个训练充分的单被试解码器能否只用少量共同刺激学习一个跨被试对齐变换然后直接解码新被试答案是可以但关键不是把脑图像在解剖上配准到同一 MNI 空间而是把新被试的功能活动映射到解码器所属被试的功能空间。论文比较了 anatomical alignment、hyperalignment 和基于 Ridge Regression 的 functional alignment并把对齐后的活动输入已有的 Brain-Diffuser 解码器。最重要的结果有三点第一Ridge Regression 在约 10% 的共同刺激数据952 张图像下就能达到接近单被试解码的表现第二解剖对齐在细粒度图像解码上接近 chance而功能对齐明显有效第三在 BOLD5000 和 THINGS 等不同数据集之间只要存在共同或语义相近的图像也能进行高于 chance 的跨数据集解码。1. 研究缺口为什么单被试解码难以扩展fMRI 的空间分辨率高但个体间的解剖结构、功能分区和神经反应拓扑并不完全一致。一个在 Subj01 上学习到的 voxel-to-image 映射不能直接套到 Subj02 的同名 voxel 上。传统做法是为每个新被试重新采集大量刺激并重新训练解码器这在 Natural Scenes DatasetNSD这样的实验中可能意味着每人近 20 小时扫描。论文把问题拆成两个部分一是训练一个强大的参考解码器二是学习一个低成本的被试间功能映射。这样新被试不需要再完整重复训练集只需观看一小部分与参考被试相同的刺激用这些共同反应估计对齐变换。这种设定和“训练一个从所有被试输入到共享表示的统一大模型”不同。作者的策略更像一个 plug-and-play 适配器解码器保持不变对齐模块只处理输入活动。来源原论文 Figure 1PDF 第 3 页图像为论文内嵌原图DOI: 10.1162/imag_a_00170。Figure 1 的信息流很清楚Subj01 的 8,859 张独有图像用于训练 Brain-DiffuserSubj02 只需要对共同图像产生 fMRI 活动通过 alignment 学到映射再把完整活动送入 Subj01 的解码器。测试图像不参与解码器训练也不参与对齐学习。2. 研究设计共同刺激是跨被试的“标尺”2.1 NSD 数据与样本划分作者从 NSD 的八名参与者中选取 Subj01、Subj02、Subj05 和 Subj07。每名被试有约 10k 张自然图像的 fMRI 反应四名被试共同看过 982 张图像。为了给定量评估留出严格的不可见样本作者从共同图像中保留 30 张用于可视化剩余 952 张作为 alignment set 和量化测试集。这里有一个容易混淆的点952 张图像用于学习功能映射同时论文在这些图像上评估解码性能但它们没有用于 Subj01 解码器的训练因此对“解码器是否看过这些刺激”而言是 held-out 的。另有 30 张图像既不用于解码器训练也不用于对齐用于 Figure 2、4 等定性展示。预处理使用 NSDGeneral ROI聚焦视觉皮层原始体素分辨率约为 1.8 mm isotropic随后把 MNI 空间的 beta 下采样到 2 mm。时间维度不直接使用完整 BOLD 序列而是使用结合 HRF 和去噪后的 GLM beta 系数。这是当前自然图像 fMRI 解码常见的 trial-level 表示但也意味着试次之间并非完全独立的原始时间点。来源原论文 Figure 2PDF 第 4 页图像为论文内嵌原图DOI: 10.1162/imag_a_00170。Figure 2 中 Subj01 是单被试解码基线其他列是不同被试经过 Ridge Regression 对齐后用同一个 Subj01 解码器重建的结果。作者特别强调展示图像没有参与对齐学习因此可以观察跨被试方法对未见刺激的视觉重建能力。2.2 Brain-Diffuser固定的下游解码器Brain-Diffuser 是一个两阶段图像重建框架。第一阶段用 Very Deep Variational AutoencoderVDVAE估计图像的低层 latent形成初始重建同时用线性模型从 fMRI 预测 CLIP-Text 和 CLIP-Vision 表征。第二阶段把这些估计的 latent 和 CLIP 表征输入 Versatile Diffusion生成最终图像。本文并不把 Brain-Diffuser 本身作为主要创新而是把它固定为跨被试实验的下游 decoder。这样比较的主要对象是输入活动是否被正确映射而不是新解码器架构是否更强。来源原论文 Figure 3PDF 第 6 页图像为论文内嵌原图DOI: 10.1162/imag_a_00170。3. 三种对齐方法3.1 Anatomical alignmentAnatomical alignment 只依赖结构像配准把不同被试的活动变换到 MNI common space。它是必要的空间标准化基线但并不保证功能选择性区域在不同人脑中的位置和方向一致。对细粒度视觉表征而言“同一个 MNI 坐标”不等于“同一个功能通道”。3.2 HyperalignmentHyperalignment 用共同刺激下的高维反应模式寻找 source 和 target 功能空间之间的旋转与尺度变换。设共同刺激下的活动矩阵为S c o m m o n S_{\mathrm{common}}Scommon​和T c o m m o n T_{\mathrm{common}}Tcommon​方法通过 Procrustes 分析寻找旋转矩阵R RR使得min ⁡ R , c ∥ c S c o m m o n R − T c o m m o n ∥ 2 2 . \min_{R,c}\left\lVert cS_{\mathrm{common}}R-T_{\mathrm{common}}\right\rVert_2^2.R,cmin​∥cScommon​R−Tcommon​∥22​.论文中先计算P S c o m m o n T T c o m m o n PS_{\mathrm{common}}^{\mathsf T}T_{\mathrm{common}}PScommonT​Tcommon​的奇异值分解再由左右奇异向量得到R RR并估计尺度c cc。它显式利用了共同刺激的功能结构但高维 Procrustes 对数据质量和计算资源更敏感。3.3 Ridge Regression alignmentRidge Regression 采用更直接的线性假设目标被试每个 voxel 的共同刺激响应可以表示为源被试所有 voxel 响应的线性组合。令S SS为 source 活动、T TT为 target 活动寻找矩阵W WWmin ⁡ W ∥ S W − T ∥ 2 2 α ∥ W ∥ 2 2 . \min_W\left\lVert SW-T\right\rVert_2^2\alpha\left\lVert W\right\rVert_2^2.Wmin​∥SW−T∥22​α∥W∥22​.其中第一项要求映射后的活动接近 target第二项抑制高维线性回归的过拟合。作者用 5-fold cross-validation 从α ∈ { 0 , 1 , 10 , 10 2 , 10 3 , 10 4 } \alpha\in\{0,1,10,10^2,10^3,10^4\}α∈{0,1,10,102,103,104}中选择正则化强度最终采用α 1000 \alpha1000α1000。重要的是W 只用共同刺激学习一次然后应用于 source 被试的共同和非共同活动。它不是为每个下游指标单独调参也没有修改 Brain-Diffuser 的权重。4. 结果一功能对齐比解剖对齐更关键作者使用 PixCorr、SSIM、AlexNet 第 2/5 层、Inception、CLIP latent space 和 Direct CLIP 2-way accuracy 评估重建。前两类指标偏向像素和结构相似性后几类指标更接近视觉语义或表征空间中的识别能力。Direct CLIP 直接评估解码线性层预测的 CLIP 分类 embedding可减少最终扩散生成器带来的混杂。来源原论文 Figure 5PDF 第 9 页图像为论文内嵌原图DOI: 10.1162/imag_a_00170。Figure 5A 展示 Ridge Regression 在 100%、50%、25% 和 10% 共同数据下的结果。共同数据越多重建通常越接近刺激Figure 5B 则显示 anatomical alignment 的结果大多缺乏可靠的语义对应而 Ridge 和 hyperalignment 能恢复物体类别、布局和颜色等高层信息。来源原论文 Figure 6PDF 第 10 页图像为论文内嵌原图DOI: 10.1162/imag_a_00170。Figure 6 的对角线是 within-subject decoding非对角线是跨被试 decoding。解剖对齐时只有对角线较高使用 hyperalignment 或 Ridge 后非对角线也接近对角线。这是一个比单组平均分更有说服力的结果同一个解码器在被对齐的新被试上能够获得接近参考被试的直接 CLIP 识别能力。在完整 952 张对齐图像下论文 Table 1 给出的 CLIP 2-way accuracy 例如为Subj01 作为 target 时Ridge cross-subject 为 0.7420within-subject 为 0.8126Subj02 target 时 Ridge cross 为 0.7299within 为 0.6909Subj05 target 时 Ridge cross 为 0.7323within 为 0.7250Subj07 target 时 Ridge cross 为 0.7323within 为 0.7591。跨被试结果并非每次都低于 within-subject可能反映对齐过程对共同视觉信息具有去噪效果。5. 结果二只用约 10% 数据就接近单被试表现作者把共同数据量进一步缩小到 95、238、476 和 952 张约占每名被试完整数据的 1%、2.5%、5% 和 10%。来源原论文 Figure 8PDF 第 12 页图像为论文内嵌原图DOI: 10.1162/imag_a_00170。Figure 8 的总体趋势是Ridge Regression 随共同刺激增加而稳定提升在约 1% 数据时已经高于 chance在 952 张图像时接近参考被试的 within-subject baseline。Hyperalignment 也有效但在小样本下通常不如 Ridge 稳定anatomical alignment 基本停留在 chance 附近。论文因此提出潜在的 90% scan-time reduction对一个已经有高质量解码器的新被试不必重新采集全部约 10k 张图像只需采集约 952 张共同刺激来学习对齐。这个数字是相对于本文 NSD 设定和完整训练规模而言的工程估计不应直接理解为所有实验都能减少 90% 扫描时间。Figure 7 进一步检查了“谁训练 decoder、谁作为 alignment target”的影响。不同 source-target 组合得到的图像在语义和基本形状上总体一致说明方法不完全依赖 Subj01 这个特定参考被试。来源原论文 Figure 7PDF 第 11 页图像为论文内嵌原图DOI: 10.1162/imag_a_00170。6. 结果三从 NSD 到 BOLD5000 和 THINGS跨被试成功并不一定等于跨数据集成功因为不同数据集还会改变磁场强度、空间分辨率、刺激分布、呈现时长和 HRF 相关处理。作者首先在 BOLD5000 与 NSD 之间做实验BOLD5000 为 3T、每张图像呈现 1 秒并有较长 fixationNSD 为 7T rapid event-related protocol两者共享 1,000 张图像。作者在 NSD Subj01 上训练 decoder用共同刺激下的 Ridge Regression 把 BOLD5000 被试映射到 NSD 的功能空间再用 NSD decoder 解码 BOLD5000 活动。Table 1 显示BOLD5000 的 cross-data 指标整体高于 chance部分指标与 within-data 结果相近。这里应注意不同指标和 target/source 组合并非同一统计条件不能把单个数值简单排序成普遍规律。THINGS 实验更难因为它没有与 NSD 完全相同的刺激。作者用图像 CLIP embedding 建立 1,000 张语义相似图像作为 alignment dataset再把 THINGS 活动对齐到 NSD。由于刺激只是语义相近而非像素相同within-subject 通常优于 cross-dataset但 cross-dataset 仍高于 chance。来源原论文 Figure 9PDF 第 13 页图像为论文内嵌原图DOI: 10.1162/imag_a_00170。Figure 9 中 Cross NSD 重建往往比 BOLD5000 的 within-data 重建更接近刺激的语义内容。作者把这解释为共享表征和功能对齐带来的迁移但也应注意不同数据集的 decoder、图像生成模型、训练数据量和测试分布并不完全相同因此最稳妥的结论是“跨数据集活动包含可被参考 decoder 利用的信息”而不是两个数据集已经完全等价。7. 作者的解释、证据与我的评价作者真正证明了什么数据支持以下结论共同刺激可以作为功能对齐的监督信号简单的 Ridge 映射在本实验中优于 anatomical alignment并在不少指标上达到或接近 hyperalignment跨被试解码的非对角线性能可以接近 within-subject 对角线少量共同刺激能够显著降低新被试适配成本共同或语义相近刺激还可以支持一定的跨数据集迁移。哪些解释仍然是推断论文提出跨被试结果可能体现了共享的神经表征也可能是对齐过程保留了共同视觉概念、滤掉了个体感知差异。作者进一步提出一种概念性分解brain activity concept individual perception。这个想法很有启发但当前结果不能单独证明大脑活动真的按此线性分解也不能说明个体差异只是 noise。此外跨被试结果有时超过参考被试的 within-subject 结果并不一定代表新被试更容易解码可能与对齐映射的正则化、共同刺激的选择和评价集定义有关。应报告多次随机划分、subject-wise confidence interval 和预注册的 alignment/test split才能更强地排除选择效应。8. 局限、泄漏风险与可复现性第一NSD 的 beta 系数来自 run-level GLM而一个 run 内的时间序列信息会参与 beta 估计。作者承认这可能造成 train/test 独立性被高估的风险并指出 GLMsingle 的内部/嵌套交叉验证、正则化以及跨 run 重复刺激平均可以缓解但不能让这个问题消失。复现时应明确 GLM 拟合范围、重复刺激是否跨 split、alignment images 是否与最终评价完全隔离。第二Ridge 的线性映射需要共同刺激不能称为完全 zero-shot cross-subject decoding。它把昂贵的完整重新训练替换成仍然需要采集的 calibration/alignment 阶段。952 张图像在 NSD 中约占 10%在其他范式中所需数量可能完全不同。第三本文只覆盖视觉皮层、自然图像和四名 NSD 被试外推到任务态 fMRI、语言、运动、疾病人群、不同扫描仪或不同 atlas 仍需验证。跨数据集实验虽然有价值但 BOLD5000 和 THINGS 的刺激匹配、协议差异及样本量限制了强结论。第四Brain-Diffuser 是复杂的生成式下游管线。像素重建和感知指标可能受 VDVAE、CLIP、Versatile Diffusion 共同影响所以 Direct CLIP 这类更靠近线性解码层的指标很重要。未来应同时报告对齐活动本身的 prediction error、跨被试表征相似度和独立的 stimulus identification。9. 对脑解码研究的启发先把适配问题和生成问题解耦。如果已有强 decoder新被试适配可以先学习输入空间映射而不必立刻重训整个生成模型。共同刺激是功能标尺。对齐的监督不一定要来自疾病标签或复杂的 end-to-end loss相同刺激下的脑反应本身就提供了跨被试对应关系。Ridge 是值得认真做的基线。高维脑信号中正则化线性变换可能比复杂非线性网络更稳定、更容易诊断也更适合小样本 calibration。评价要区分 within、cross-subject 和 cross-dataset。还要明确哪些图像参与 decoder training、alignment learning 和 final testing避免把共同刺激泄漏误报成泛化。不要把“90% 减少扫描”写成普适承诺。该结论依赖 NSD 的共同刺激比例、参考 decoder 质量、视觉 ROI、beta 估计和评价方式。真正临床或生态部署还需要更少的校准数据、跨设备验证和隐私/伦理评估。总结Through their eyes 的价值不在于提出一个更大的视觉生成模型而在于把跨被试脑解码重新表述为“功能空间适配”。在 NSD 上Ridge Regression 用共同刺激学习一个 source-to-target 线性变换使固定的 Brain-Diffuser 能够处理新被试活动在约 10% 共同数据下结果接近单被试解码且跨数据集到 BOLD5000、THINGS 的实验也显示了高于 chance 的迁移信息。最可靠的结论是个体脑活动之间存在足以支持视觉内容解码的共享结构简单、正则化的功能对齐可以把这种共享结构变成可用的工程接口。最需要保留的谨慎是这不是无校准的 mind reading也不是已经建立了普适脑解码器它仍依赖共同刺激、参考被试、复杂下游 decoder 和严格的数据独立性控制。参考资料与图片来源Ferrante, M., Boccato, T., Ozcelik, F., VanRullen, R., Toschi, N. (2024). Through their eyes: Multi-subject brain decoding with simple alignment techniques.Imaging Neuroscience, 2. DOI: 10.1162/imag_a_00170。Allen, E. J., et al. (2022). A massive 7T fMRI dataset to bridge cognitive neuroscience and artificial intelligence.Nature Neuroscience.Ozcelik, F., VanRullen, R. (2023). Natural scene reconstruction from fMRI signals using generative latent diffusion.Scientific Reports.Haxby, J. V., et al. (2011, 2020). Hyperalignment and shared information in idiosyncratic cortical topographies。本文 Figure 1、2、3、5、6、7、8、9 均直接来自该论文 PDF 的内嵌原图未生成、重绘、增强或添加语义标注每张图后均标明原始 Figure 编号和 PDF 页码。