The Master Algorithm

本笔记本基于 Pedro Domingos 的《The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World》（Basic Books, 2015；平装版 2018-02-13）。这本书把机器学习领域分成 五大学派，并提出一个核心问题：是否存在一个终极算法，能从任何数据中学会任何知识？

范围说明：本笔记本侧重三个在站内尚未系统整理的学派 —— 贝叶斯派 / 进化派 / 类比派。符号派与联结派已分别在 02_Symbolic_AI 与 1_DeepLearning 充分覆盖，本入口直接给出链接，不再重写。

1. 这本书在讲什么

Pedro Domingos 是华盛顿大学计算机系教授，统一概率与符号的 Markov Logic Networks (MLN) 提出者之一。他在 2015 年面向公众写了这本书，把 ML 的内部派系拆给非专业读者看，并提出一个工程师与哲学家都关心的命题：

Master Algorithm 假设：存在一个通用学习算法，给定足够的数据，能学会任何可学习的东西。它一定是把现有五派的优势融合在一起的产物。

这个命题是否成立有争议（参见 No Free Lunch 定理），但它给五派之间的关系画了一张清晰的地图，对学习者非常有用。

2. 五大学派一览

graph TD
    ML[机器学习]
    ML --> S[Symbolists<br/>符号派]
    ML --> C[Connectionists<br/>联结派]
    ML --> E[Evolutionaries<br/>进化派]
    ML --> B[Bayesians<br/>贝叶斯派]
    ML --> A[Analogizers<br/>类比派]

    S --> S1[反向演绎<br/>Inverse Deduction]
    C --> C1[反向传播<br/>Backpropagation]
    E --> E1[遗传搜索<br/>Genetic Search]
    B --> B1[贝叶斯定理<br/>Bayes' Theorem]
    A --> A1[相似度查询<br/>Similarity-based]

    style B fill:#ffe4b5,stroke:#d4a017
    style E fill:#c8e6c9,stroke:#388e3c
    style A fill:#bbdefb,stroke:#1976d2
    style S fill:#f5f5f5,stroke:#999
    style C fill:#f5f5f5,stroke:#999

上图中 贝叶斯派 / 进化派 / 类比派 高亮的三个就是本笔记本的重点；符号派与联结派在站内其他板块。

学派	核心信念	主算法	代表方法	站内深入
Symbolists	智能 = 符号操纵	反向演绎	决策树、规则归纳、ILP、知识图谱	02_Symbolic_AI/
Connectionists	智能源于神经元连接	反向传播 + 梯度下降	MLP、CNN、Transformer、LLM	1_DeepLearning/
Evolutionaries	智能是进化的产物	遗传搜索	GA、GP、ES、CMA-ES、NEAT	进化派.md ← 本笔记本
Bayesians	学习 = 概率推断	贝叶斯定理	Naive Bayes、Bayes Net、HMM、LDA、MCMC	贝叶斯派.md ← 本笔记本
Analogizers	从相似案例外推	相似度度量	k-NN、SVM/核、CBR、推荐系统、对比学习	类比派.md ← 本笔记本

3. 五派 vs 站内三派分类

ai-notes 在人工智能综述与 AI研究范式中采用经典的三大学派分类（符号 / 连接 / 行为）—— 这是 AI 哲学传统视角。Domingos 的五大学派是 ML 内部更细的视角，二者正交互补：

graph LR
    subgraph "三派（AI 哲学）"
        T1[符号主义]
        T2[连接主义]
        T3[行为主义]
    end

    subgraph "五派（ML 内部）"
        F1[Symbolists]
        F2[Connectionists]
        F3[Bayesians]
        F4[Analogizers]
        F5[Evolutionaries]
    end

    T1 --- F1
    T1 -.- F3
    T2 --- F2
    T2 -.- F4
    T3 --- F5

    style T1 fill:#f9f
    style T2 fill:#bbf
    style T3 fill:#bfb

符号主义 ⊇ Symbolists；部分 Bayesians（图模型语义可视为符号化）
连接主义 ⊇ Connectionists；部分 Analogizers（深度对比学习落在 embedding 空间）
行为主义 ⊇ Evolutionaries（试错搜索的极端形式）；交叠强化学习

三派从"智能从哪里来"切；五派从"学习器用什么数学工具"切。两套视角都有用。

4. 本笔记本的导航

06_The_Master_Algorithm/
├── index.md       # 你在这里
├── 贝叶斯派.md    # 派系哲学 + 图模型/HMM/LDA + 概率编程实战 + 贝叶斯深度学习（约 1300 行）
├── 进化派.md      # 派系哲学 + GA/GP/Schema 定理 + ES/CMA-ES/NEAT + 群体智能/AutoML（约 1300 行）
├── 类比派.md      # 派系哲学 + k-NN/核方法/SVM + 度量与对比学习 + 推荐与现代检索（约 1800 行）
└── 终极算法.md    # 五派融合假设 + MLN + Neuro-Symbolic + No Free Lunch + 2026 视角

每个派系页都是单一长文，包含「派系入口 + 三个深度专题」共四大节。每节内部用 H2/H3 分层；派系页之间互相独立、可单独阅读。

建议阅读顺序：

先按兴趣挑一个派系页通读其 §1（派系哲学 + 算法地图）
再按需要跳进 §2/§3/§4 三个深度专题
最后读终极算法，回到 Domingos 的统一假设

5. 与站内既有页的分工

新笔记本不重写既有内容，只补足"派系视角的伞状综述"和站内空白：

既有页	角色	本笔记本对应页
贝叶斯学习.md	数学推导（Bayes/MAP/MCMC/VI/GP）	贝叶斯派.md：派系视角 + 图模型/HMM/LDA + 概率编程 + 贝叶斯 DL
probabilistic_models.md	图模型基础	贝叶斯派.md §图模型与隐马尔可夫
kernel_methods.md	核方法算法细节	类比派.md：派系伞状视角 + k-NN/SVM/度量学习/推荐
supervised.md §k-NN	k-NN 算法	类比派.md §最近邻与核方法
meta_learning.md	Siamese / Prototypical	类比派.md §度量学习与对比学习
视觉自监督.md	SimCLR / MoCo	同上：度量学习理论框架
vision_foundation.md	CLIP	同上：CLIP 的度量解读
长期记忆与向量数据库.md	FAISS / HNSW 工程	类比派.md §推荐系统与现代检索
1_search.md §进化算法	GA 简介	进化派.md §遗传算法与遗传编程

6. 关键参考文献

Pedro Domingos. The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World. Basic Books, 2015. (Paperback 2018-02-13)
Pedro Domingos. "A Few Useful Things to Know About Machine Learning". Communications of the ACM, 55(10), 2012.
Matt Richardson, Pedro Domingos. "Markov Logic Networks". Machine Learning, 62(1-2), 2006.
David H. Wolpert, William G. Macready. "No Free Lunch Theorems for Optimization". IEEE Transactions on Evolutionary Computation, 1(1), 1997.

下一步：进入你最感兴趣的派系页 —— 贝叶斯派｜进化派｜类比派｜终极算法