SOMA & ANIMA
In DevelopmentV0.4

SOMA Care

医疗护理意图-行动仿真

SOMA 系列的医疗护理产品线。基于 ANIMA 认知框架，把意图（文本 / 语音 / 未来可扩展的 BCI 信号）翻译成仿真病房中可审计的机器人行动。v0.4 的重点是用 MuJoCo 仿真 + 离线视频把「意图 → 医护」这个闭环演示清楚。

SOMA 系列的护理产品线，和 soma-arm 并行，共享 ANIMA 认知框架。

查看开发日志GitHub
SOMA Care
Stretch RE3 在仿真病房中的原型视角：病床、床头柜、床旁桌与护理机器人。
Why simulation

为什么先做仿真

先做仿真病房 + 视频交付，而不是真机或临床合作。原因：不需要医疗资质、不碰患者数据、可复现；同时足够把 L0–L5 意图-行动闭环、五因素评估、失败-协商叙事做完整。真机与临床是 v0.5+ 才考虑的方向。

Architecture

ANIMA 认知栈 + 五因素评估

意图从 L0 进入，经过 Parser / Planner / Skill / Adapter，最终在 L5 被五因素评估。这些截图来自研究原型时期的实时 UI。

ANIMA 六层认知规划系统面板
L0–L5 六层在前端的实时可视化：Signal / Parser / Planner / Skill / Adapter / Assessment。
五因素评估仪表板
ITA / MQA / SQA / GOA / PEA 五个因素的实时数值与趋势。
Intent -> Action

从意图到行动的三步

自然语言意图输入面板
L0 Signal：模拟脑意图 / 文本 / 语音输入入口。
自然语言到 TaskSpec 的结构化转换
L1 Parser：LLM-as-Parser 强制 tool-calling 产出 TaskSpec。
动作执行编排视图
L2–L4：py_trees 行为树 + 技能注册表 + 仿真适配器。
Prototype screenshots

仿真病房多相机视角

以下截图来自 v0.1–v0.3 研究原型时期，是 v0.4 视频交付的起点——之后会替换为本地 Metal 高帧率渲染的最新画面。

病房俯视相机
top_down 相机：全局布局与路径规划验证。
床边相机视角
bedside_view 相机：接触密集任务的近距离观察。
机器人取水任务
DRINK_WATER 技能执行中：定位 → 导航 → 抓取 → 递送 → 评估。
Hardware
机器人（仿真）
Stretch RE3 移动操作平台，MuJoCo 3.7 + hello-robot/stretch_mujoco Python API
相机（虚拟）
5 路仿真相机：demo_view / grasp_view / bedside_view / top_down / first_person_nurse
场景
仿真病房：病床 + 床头柜 + 床旁桌 + 物理 E-stop 按钮（场景内可点击）
Software
认知层
ANIMA v0.1.0（pip 安装）+ LLM-as-Parser + py_trees
后端
FastAPI + WebSocket + MJPEG 多相机流 + MuJoCo passive viewer
前端
Next.js 16 + Tailwind v4 + zustand + ReactFlow（L0–L5 实时仪表板）
LLM 提供方
DeepSeek / OpenAI，通过 anima 的 LLMToolCaller 协议插拔
当前范围
  • PBR 病房资产 + Mac Metal 本地高帧率渲染
  • 4–6 个接触密集 skill（TurnOver / Feed / HandMedicine / WipeMouth / StraightenBlanket / CompanionChat）
  • 三种非信号通路旁路：物理 E-stop 按钮 / 语音 STOP 拦截 / 眼动-头部姿态视觉线索
当前推进
  • Hospital_assets 贴图与光照导入（定向光 + 日光灯 + 床头灯）
  • MQA 子指标落地（接触力包络 / 抓取余量 / 轨迹平滑度）
  • 5–8 段 3–5 分钟主题视频的脚本、分镜与录制
后续扩展
  • 非侵入式 BCI 信号（EEG / fNIRS）在仿真中的接入（v0.5 考虑）
  • Stretch RE3 真机迁移验证（需要额外硬件与时间窗口）
  • 临床合作试点（需外部资金与合规通道，不在当前承诺范围）
Milestones

版本路线图

2026-04 (historical)

v0.1 – v0.3 — 原型时期

来自 human-brain-interface-demo 研究原型：FastAPI + Next.js 脚手架、六意图闭环、MuJoCo Stretch sim、L0–L5 UI 面板、多相机 MJPEG 流。2026-04-21 迁出并冻结为历史快照。

2026-04-21 ~

V0.4 — 质量提升：仿真、操作、内容、视频

PBR 病房资产 + 本地 Metal 高帧率渲染、4–6 个接触密集 skill、8–10 条成功路径 + 3–5 条失败-协商叙事、5–8 段主题视频交付。

Planned

V0.5P+ — 待定

v0.4 视频交付完成并收集反馈后再决定：非侵入式 BCI 仿真接入 / 真机迁移 / 临床合作试点，目前都不承诺。

公开入口
Demo / Media
v0.4 主题视频录制中
5–8 段 3–5 分钟视频本地 Metal 渲染中；发布到 GitHub Releases / YouTube / soma.jeffliulab.com。
研究原型历史截图
见本页「原型截图」段落——来自 v0.1–v0.3 时期。
FAQ

常见问题

SOMA Care 和 SOMA Arm 什么关系？

两条并行的产品线，共享 ANIMA 认知框架。SOMA Arm 是桌面棋盘操作，验证真机机械臂的操作能力；SOMA Care 是仿真病房的护理意图-行动闭环，验证多 skill 编排、失败协商和五因素评估。同一套 L0–L5 栈，不同的应用层。

SOMA Care 为什么先做仿真，而不是真机或临床合作？

仿真让我们把意图-行动闭环、五因素评估和失败-协商叙事做完整，不需要医疗资质、不碰患者数据、完全可复现。这样可以先在可审计的环境里把「意图 → 医护」讲清楚。真机迁移和临床合作是 v0.5+ 才考虑的方向，需要外部硬件 / 资金 / 合规通道。

SOMA 系列现在包括哪些产品线？

两条：SOMA Arm（桌面棋盘操作，用于验证 ANIMA 在家用方向的闭环）和 SOMA Care（仿真病房的医疗护理意图-行动闭环）。两条线共享同一套 ANIMA 认知框架。soma-watch 仍是远期品牌预留位，未列入当前承诺。