基座模型
基座模型(Foundation Model)通过大规模预训练获得通用能力,可适配到多种下游任务。本章节系统梳理基座模型的理论基础、各模态基座模型,以及安全与对齐问题。
本章内容:
- 基座模型概论 — 什么是基座模型?历史演进、核心特征、范式变迁
- 预训练范式 — 自监督学习、掩码建模、对比学习、微调方法
- 表示学习 — 学到了什么?嵌入空间、语义几何、迁移学习
- Scaling与架构 — 缩放定律、Dense到Sparse演进、MoE深度解构
- LLM基座 — GPT系列演进、涌现能力、RLHF、开源生态
- 视觉基座 — ViT、MAE、DINO、CLIP、SAM
- 多模态大模型 — 投影式/压缩式/统一架构、LLaVA、GPT-4V、Gemini
- 生成式基座 — Diffusion、DiT、文生图/视频/3D/音频
- 安全与对齐 — RLHF/DPO、幻觉问题、红队测试