BCI × EMBODIED AI · 2026
脑控具身智能产品原型
Intent-to-Action, Audited End-to-End
病人通过想「取水喝」，机器人便能执行取水动作，并智能识别任务是否成功。
可交互原型 · Interactive Prototype
完整的意图-行动链路部署在 Hetzner，可直接在浏览器中交互操作。界面左栏 BCI 监控、中栏 MuJoCo Live View、右栏 Anima 任务执行栈。下图为 2026-04-21 运行时截图，6 个关键区域标号对应说明。
123456- 1
L0 · 意图输入
自然语言输入 + 快速指令按钮，模拟 BCI 解码后的意图。
- 2
信号健康 & 神经活动
CHANNEL HEALTH / NEURAL ACTIVITY / FIRING RATE 装饰可视化。
- 3
MuJoCo Live View
L4 物理仿真 MJPEG 流 · Stretch RE3 实时自主动作。
- 4
L1 · Intent Decode
IntentToken 标签 + 置信度 + drift_score 实时显示。
- 5
Anima Stack
L0–L5 五层认知栈逐层激活状态。
- 6
BT Pipeline
L2 行为树当前执行节点 + L3 六技能成功率。
端到端链路 · End-to-End Pipeline
脑意图输入
BCI 解码出的用户意图以自然语言代理接入（装饰波形仅作可视化）。
结构化意图解析
L1 LLM Parser 强制 tool-call，输出 IntentToken JSON + 置信度。
行为树调度执行
L2 py_trees Sequence → L3 六原子技能（locate / navigate / grasp / lift / deliver）。
signal → IntentToken JSON → py_trees → MuJoCo · 全链路事件落盘可回放
DEMO 细节 · Demo Details
Stretch RE3 在病房场景自主完成“取水送到床边”全流程。每次运行从 MJCF 实时查物体位姿、算分析 IK、步进物理——不是录好的动画。
核心实现 · Core Implementation
系统基于 Anima 认知框架独立实现，覆盖 L1–L5 全链路：
- L1 · LLM-as-Parser（强制 tool-call · IntentToken 35 词词表）
- L2 · py_trees 行为树 + 6 道 Test-and-Check 安全闸门
- L3 · 六个原子技能（locate / navigate / grasp / lift / deliver / release）
- L4 · MuJoCo 病房场景 + Stretch RE3 集成 · MJPEG 实时流
- L5 · 五因素实时评估（ITA / MQA / SQA / GOA / PEA）+ 事件回放
技术细节 · Technical Details
点击展开。
Anima 5 层认知栈+
- L0 · Input — 信号特征抽取 + 装饰波形（UI 明确标注 decorative only）
- L1 · Parser — LLM 强制 tool-call，输出 IntentToken（35 词词表）
- L2 · Planner — IntentToken → TaskSpec → py_trees 行为树
- L3 · Skill — 六个原子技能，每个带前置 / 后置条件检查
- L4 · Actuator — MuJoCo 物理仿真或真机（Stretch / Kinova / 未来人形）
- L5 · Assessment — 5 因素实时评估，PEA 写入可查询日志
5 因素实时评估+
- ITA — Intent 置信度，L1 解析质量 < 阈值触发用户确认
- MQA — 信号质量 + 跨天神经漂移，drift_score > 0.3 触发重校准
- SQA — 技能执行质量，滑窗成功率决定是否切换 fallback
- GOA — 整体目标达成概率，P(success) = P₁ × P₂ × … × Pₙ
- PEA — 过往经验检索，recency × 0.5 + relevance × 3.0 + importance × 2.0
LLM-as-Parser · 为什么强制 tool-call+
- LLM 在系统里只做一件事：把自由文本解析成结构化 IntentToken JSON。
- 强制 tool-call、不生成自然语言。目的是规避「假神经解码」——不伪装 BCI 已经能解码出完整自然语言。
- 同时规避 LLM 幻觉式生成动作。这是核心差异化设计。
6 道 Test-and-Check 安全闸门+
- ① JSON 合法性 — 解析失败 → 重问 LLM
- ② 意图合法性 — 不在 35 词词表 → 发起澄清
- ③ 技能可用性 — 无对应技能 → 回落通用
- ④ 参数合法性 — 越界 → 请用户确认
- ⑤ 安全边界 — 力 / 距离 / E-stop → 直接拒绝并解释
- ⑥ 前置条件 — 电量 / 抓握状态 / 场景检查 → 请求补全或回滚
技术栈+
- 后端 · FastAPI · WebSocket · MuJoCo · py_trees · DeepSeek tool-call
- 前端 · Next.js · Zustand · MJPEG 实时流
- 部署 · Hetzner · Docker · Nginx
- 仓库 · github.com/jeffliulab/human-brain-interface-demo