语义重建

语义重建（semantic reconstruction） 与视觉图像重建是对偶任务：不从神经活动重建看到的图像，而是重建思想、概念、语言意义。2023 年 Tang 等人在 Nat Neuroscience 的工作首次让这一目标达到实用水平。

一、什么是语义重建

与图像重建的区别

图像重建（MindEye）：从视觉皮层 → 图像
语义重建：从语言相关脑区 → 文本 / 意义

语义脑区

颞上回（STG）：语音感知
中颞回（MTG）：词义
角回（Angular Gyrus）：语义综合
顶叶（precuneus）：情节记忆

这些区域不是视觉皮层——而是处理语言、记忆、抽象概念。

二、Tang 2023 Nat Neuroscience

Tang, LeBel, Jain & Huth (2023) 开创性工作：

实验

7 名被试 躺在 fMRI 里 听 16 小时 podcasts
fMRI BOLD 记录
目标：从 fMRI 重建他们听到的语义

方法

fMRI BOLD (15 s 窗口)
  ↓
编码器 → GPT-2 input embedding
  ↓
Beam search (candidate sentences)
  ↓
选与 fMRI 最一致的
  ↓
重建"意思"

关键点

不是词级重建——fMRI 慢（~1 s），无法逐词
重建句子大意
用 GPT 的语言先验补全细节

结果（样例）

真实听到	重建
"I don't have a driver's license yet"	"she has not even started to learn to drive yet"
"I get up from the air mattress and press my face against the glass"	"I just continued to walk up to the window and opened the glass"

意思对，词不同——这是语义级重建的特征。

三、关键技术

编码器设计

fMRI 每个体素的 BOLD → 预测 GPT-2 对当前文本片段的表示。

训练时： - 输入：fMRI 15 s 窗口 - 目标：同时段听到的文本的 GPT-2 embedding - 损失：回归 MSE

Beam search 解码

生成时： 1. 从 GPT-2 生成候选句子（beam size ~200） 2. 每候选 → 预测 fMRI → 与实际 fMRI 比较 3. 选一致度最高的

这是 "大脑信号做 guidance，LM 做生成" 的范式——与 RL from human feedback 思想一致。

四、语义 vs 词级精度

能做

句子大意
情绪（积极/消极）
主题（旅行、工作、人物）
具体名词（狗、车、屋）

不能做

功能词（the, is, a）
具体词选择
语法细节

评估

BERTScore：语义相似度
BLEU：词 overlap（低）
Human judgment：理解率

Tang 2023 的 BERTScore ~0.85 vs 基线 0.5——语义正确但词不同。

五、数据隐私的第一次冲击

Tang 2023 引发重大神经权利讨论：

关键实验

他们测试"用户能否隐藏思想"： - 让被试故意想别的 - fMRI 重建精度显著下降

结论：目前的系统需要用户合作，非合作下难以解码。

隐私设计

合作原则：系统应 require 用户主动
被动扫描应被法律禁止（智利 2021 宪法、CO 2024 法）
fMRI + LLM 组合是"潜在精神读取技术"——立法迫切

这让语义重建成为神经权利章节的直接动因。

六、扩展与变体

MindLLM（2024）

更长故事
跨被试
视觉描述

Brain-to-Story（2024）

连续故事而非独立句子
LLM 的 long-context 能力发挥作用

Scholkopf 组：情节记忆重建

fMRI 记录回忆过往
重建所回忆的事件
这是 "recall decoding" 的首次尝试

七、与语音 BCI 的区别

	语音 BCI（Willett 2023）	语义重建（Tang 2023）
信号	spike	fMRI BOLD
速度	62 WPM	句子级
精度	词级 9.1% WER	语义级
脑区	vSMC（运动）	语义皮层
场景	发音尝试	听语言

语音 BCI 解码"想说的话"；语义重建解码"想到的意思"——本质不同的任务。

八、语义重建的临床潜力

失语症诊断

正常人听故事 vs 患者听同样故事
比较 fMRI 重建能否恢复"应该理解的意思"
定量评估语言理解能力

植物人状态

植物人 / 微意识患者的 fMRI + 故事
如果能重建意义 → 证明意识存在
2020 后的 "cognitive motor dissociation" 研究相关

沟通辅助

无法说话 + 无法动的完全闭锁患者
听到问题 → fMRI → 语义答案
比敲字慢，但可能是唯一出路

九、哲学意义

思想的可读性

Tang 2023 改变了"思想是私人的"这一哲学假定。

解码是什么

重建字面 → 语义 → 意图 的谱系
距离"读心术"还有距离（需合作、分辨率低）
但方向明确

语言思维

有趣的是：语义重建之所以可行，是因为大部分高层思维是语言化的。没有语言的思维（情绪、直觉）仍难解码。

十、LLM 加速的未来

Tang 2023 用的是 GPT-2。如果换成 GPT-4/Claude： - 更强语义先验 - 更好 beam search 候选 - 更自然重建

2025+ 预期：用 GPT-4 级 LLM + 更多 fMRI 数据 → 重建质量再跃升。

十一、逻辑链

语义重建不解码词，解码意义——与视觉和语音 BCI 本质不同。
Tang 2023 用 fMRI + GPT-2 首次实现实用语义重建。
方法 = 神经活动作为 LLM 生成的 guidance，不同于直接映射。
语义正确 ≠ 词级正确——BERTScore 高，BLEU 低。
隐私实验证明当前系统需要用户合作——但立法仍必要。
临床、诊断、沟通辅助是语义重建的直接应用。
LLM 级别升级将持续提升重建质量。

参考文献

Tang et al. (2023). Semantic reconstruction of continuous language from non-invasive brain recordings. Nat Neuroscience. https://www.nature.com/articles/s41593-023-01304-9
Huth et al. (2016). Natural speech reveals the semantic maps that tile human cerebral cortex. Nature.
Jain et al. (2018). Incorporating context into language encoding models for fMRI. NeurIPS.
Chen et al. (2024). MindLLM: brain decoding via Large Language Models. arXiv.
Radford et al. (2019). Language models are unsupervised multitask learners. OpenAI. — GPT-2