终极算法

Domingos 在《The Master Algorithm》最后一部分提出书的核心命题：是否存在一个通用学习算法，给定足够的数据，能学会任何可学习的东西？他相信答案是肯定的，并认为这个算法一定是把现有五派的优势融合在一起。本页梳理这个统一假设、Domingos 自己的候选方案（Markov Logic Networks）、其他融合路线、反命题（No Free Lunch 定理），以及 2026 年的工程现实视角。

---

1. Master Algorithm 假设

Domingos 的核心命题（书中原文意译）：

所有知识 —— 过去、现在、未来 —— 都可以通过一个通用学习算法从数据中获得。

如果这个命题成立，意味着： - ML 不再是一堆零散技术的集合，而是某个单一原理的不同表面 - 工程上不需要为每个问题手工挑算法 —— 给一个学习器加上数据就够 - 哲学上，它也回答了认知科学的"统一智能"问题

这是一个强假设。Domingos 自己也承认它不一定真，但提出它的价值在于：把五派之间的关系画成一张地图，让研究者去找各派融合的最大公约数。

为什么单派不够

学派	强项	致命弱项
Symbolists	逻辑推理、可解释	知识获取瓶颈、脆弱
Connectionists	感知、自动学表示	黑箱、数据饥渴、缺因果
Evolutionaries	黑箱优化、不需要梯度	样本效率极低
Bayesians	不确定性、小数据	计算昂贵、先验主观
Analogizers	简单、可即时学习	维度灾难、度量选择

Domingos 论点：这些弱项往往是另一派的强项，所以正确的合一方向不是替代，而是组合。

---

2. Domingos 自己的候选：Markov Logic Networks

Markov Logic Networks (MLN)（Richardson & Domingos, 2006）是 Domingos 团队近 20 年的主线工作，目标就是把 Symbolists + Bayesians 融合到同一个数学框架里。

2.1 直觉

• 一阶逻辑：表达力强，但布尔——一个公式要么真要么假
• 概率图模型：处理不确定性，但难表达"对所有 \(x\)"这种全称量化

MLN 的想法：给一阶逻辑公式赋予实数权重，权重越高表示这条规则越"硬"。这样，违反一条规则不再让整个世界为 0 概率，而是降低它的概率。

2.2 形式化

给定一阶逻辑公式集 \(\{F_i\}\) 与对应权重 \(\{w_i\}\)，定义在 ground atoms 集合上的概率分布：

\[ P(X = x) = \frac{1}{Z} \exp\!\left(\sum_i w_i \, n_i(x)\right) \]

其中： - \(n_i(x)\)：在 world \(x\) 中公式 \(F_i\) 被满足的实例数 - \(Z\)：归一化常数

这是一个 Markov Random Field（贝叶斯派的图模型）—— 由一阶逻辑公式（符号派的语言）参数化。

2.3 推断与学习

• 推断：MAP 推断 → SAT 问题 / 加权 MaxSAT；边缘推断 → MCMC（Gibbs sampling on grounded MLN）
• 学习：权重学习（最大化伪似然 / 投票感知机更新）；结构学习（搜索一阶子句空间）

graph LR
    A[一阶逻辑公式 + 权重] --> B[Grounding]
    B --> C[Markov Random Field]
    C --> D{推断}
    C --> E{学习}
    D --> D1[MaxSAT/Gibbs]
    E --> E1[权重: 伪似然]
    E --> E2[结构: ILP 搜索]

    style A fill:#ffe4b5
    style C fill:#bbdefb

2.4 评价

MLN 在统计关系学习（SRL）社区影响深远，但作为"Master Algorithm"候选，它有局限： - 只融合了符号派 + 贝叶斯派，没纳入联结派的表征学习 - 推断成本高 - 在大规模感知任务（图像、语音）上不与 deep learning 竞争

它更像是统一假设的一个示意性原型，而非工业级答案。

站内符号—概率桥接的相关页：概率推理与贝叶斯网络、贝叶斯派。

---

3. 其他融合路线

MLN 之外，五派之间还有许多两两或多方融合的路线，每条都是研究热点。

融合	名称 / 代表工作	思路
Symbolists + Connectionists	Neuro-Symbolic AI（Garcez & Lamb 2020）	神经网络做感知，符号系统做推理；DeepProbLog、神经定理证明器
Symbolists + Bayesians	Markov Logic Networks（Richardson & Domingos 2006）；ProbLog	一阶逻辑 + 概率分布
Symbolists + Evolutionaries	Genetic Programming（Koza 1992）	树状程序（符号）+ 遗传搜索
Connectionists + Bayesians	Bayesian Deep Learning；VAE（Kingma 2014）	神经网络的权重 / 隐变量是分布
Connectionists + Evolutionaries	Neuroevolution（NEAT, OpenAI ES）	神经网络的权重 / 拓扑用进化搜索
Connectionists + Analogizers	Deep Kernel Learning（Wilson 2016）；Contrastive Learning（SimCLR/CLIP）	神经网络做 embedding，下游用相似度
Bayesians + Analogizers	Gaussian Processes	核函数即先验下的相似度
Bayesians + Evolutionaries	Bayesian Optimization	贝叶斯模型做代理，进化策略做候选
多派	Probabilistic Programs	程序（符号）+ 分布（贝叶斯）+ 嵌入（联结）

graph TB
    Sym[Symbolists]
    Con[Connectionists]
    Bay[Bayesians]
    Ana[Analogizers]
    Evo[Evolutionaries]

    Sym ---|MLN/ProbLog| Bay
    Sym ---|Neuro-Symbolic<br/>DeepProbLog| Con
    Sym ---|GP| Evo
    Con ---|VAE/BNN| Bay
    Con ---|NEAT/OpenAI ES| Evo
    Con ---|SimCLR/CLIP/DKL| Ana
    Bay ---|Gaussian Processes| Ana
    Bay ---|Bayesian Optimization| Evo

    classDef tribe fill:#ffeaa7,stroke:#d4a017
    class Sym,Con,Bay,Ana,Evo tribe

每条边都对应站内一个或多个页面；本笔记本的 贝叶斯派、进化派、类比派 三派入口里都有"与其他派的融合"小节。

---

4. 2026 年视角：Transformer + RLHF + 工具调用

Domingos 的书写于 2015 年。十年后回看，业界的事实回答是：没有人写出 Master Algorithm，但 Transformer 路径在很多任务上构成了"事实上的部分统一"。

4.1 大模型作为多派融合的产物

Transformer + 后训练 + 工具调用，事实上糅合了五派：

阶段	主导派系	体现
预训练（next-token prediction on web）	Connectionists	反向传播、海量数据、scaling law
上下文学习 / few-shot prompting	Analogizers	从 demonstration 类比推理
Chain-of-Thought / 工具调用	Symbolists	显式符号推理、逻辑链
RLHF（基于人类反馈的强化学习）	Evolutionaries（行为试错） + Bayesians（PPO 的策略稳定化部分有贝叶斯解读）	行为优化
不确定性表达（"I'm not sure"）/ ensembling	Bayesians（弱形式）	仍是工程缺口
RAG（检索增强生成）	Analogizers	dense retrieval = 类比派现代化身

graph LR
    Pre[预训练 Pretrain] -->|Connectionists| LLM[LLM]
    LLM -->|Analogizers| ICL[In-context Learning]
    LLM -->|Symbolists| CoT[Chain-of-Thought + Tools]
    LLM -->|Evolutionaries+Bayesians| RLHF[RLHF/DPO]
    RAG[RAG: Dense Retrieval] -->|Analogizers| LLM

    style LLM fill:#ffeaa7

4.2 这是 Master Algorithm 吗？

不是 —— 但它是目前已知最像的工程实践。问题：

• 不是单一算法，而是工程拼接（pretrain + SFT + RLHF + RAG + tools）
• 五派之间是串联而非真正融合：每个阶段一派主导
• 缺乏严格的不确定性量化（贝叶斯派覆盖薄弱）
• 计算成本极高，远不像 Domingos 设想的"通用且高效"
• 涌现能力（emergent capabilities）的机理不清楚（更像 Connectionists 的黑箱代价）

更接近的合一可能要等下一代架构 —— 把世界模型、显式推理、概率不确定性、检索-生成统一在同一目标函数里。

---

5. 反命题：No Free Lunch 定理

Master Algorithm 假设的最强反对来自 Wolpert & Macready 1997 的 No Free Lunch (NFL) 定理。

5.1 严格陈述

对所有可能的目标函数 \(f: X \to Y\)，给定任意两种学习/优化算法 \(A_1, A_2\)，在所有目标函数上的期望性能完全相同：

\[ \mathbb{E}_{f}\big[\text{performance}(A_1, f)\big] = \mathbb{E}_{f}\big[\text{performance}(A_2, f)\big] \]

直观含义：没有任何算法能在所有问题上都比其他算法好。一个算法在某类问题上获得的优势，必须用在另一类问题上的劣势来补偿。

5.2 对 Master Algorithm 假设的影响

NFL 看似直接否决 Master Algorithm —— 通用且最优的算法不存在。但要小心：

• NFL 假设目标函数在所有可能函数上均匀分布。现实世界的函数不是这样 —— 有强烈的归纳偏置（局部性、平滑性、组合性）
• Domingos 的论断更弱：存在一个能学任何可学习事物的算法，而不是在所有问题上都最优
• "可学习" 本身就要求数据中存在结构。NFL 关注 worst-case，Master Algorithm 关注 real-world

5.3 工程派回应

实务社区的主流观点：

"组合 > 银弹" —— 真正的 ML 实践是为问题选合适的算法（甚至组合多个），而不是相信存在一把万能钥匙。

这条务实路线在工业上一直占上风。它不否认五派融合的价值，但把"Master Algorithm"看作研究北极星，而非可交付物。

---

6. 五派融合的工程现状

抛开理论，现实中机器学习系统就是多派的混合产物：

6.1 MLOps 视角

组件	涉及派系
数据 pipeline、特征工程	Symbolists + Bayesians
模型训练（DL）	Connectionists
超参优化	Bayesians + Evolutionaries
检索 / 推荐	Analogizers
A/B 测试	Bayesians（贝叶斯 A/B）+ Frequentist
模型监控（drift, calibration）	Bayesians

6.2 模型集成（Ensembling）

集成方法本身就是"多派合一"的工程化：

• Bagging（随机森林）：多个 Symbolist 模型 + Bayesian 平均
• Boosting（XGBoost）：sequential Symbolists 学残差
• Stacking：用 meta-learner（可以是任何派）组合 base learners
• Mixture-of-Experts (MoE)：现代 LLM 的稀疏激活，本质是"每个 expert 各擅一类输入"的类比派路由

6.3 现实结论

Master Algorithm 还没出现；但 Master Toolbox 已经存在：MLOps 平台 + Foundation Models + RAG + 工具调用 + RLHF。 工程师的工作是知道每派各自能做什么、不能做什么，并把它们拼对。

---

7. 给学习者的 takeaway

读完这本书与本笔记本，可以记住的核心要点：

1. 没有银弹：每派都有结构性缺陷；选模型本质是选偏置
2. 五派各有"主算法"假设：贝叶斯定理、反向演绎、反向传播、遗传搜索、相似度查询
3. 现代 ML 是多派融合：Transformer + RLHF + RAG + 工具调用是事实上的工程路径
4. NFL 定理 ≠ 五派融合无意义：现实世界的归纳偏置让通用算法在"可学习问题集合"上仍可能存在
5. 学习的最佳路径：先掌握每派的"主算法"，再去看融合工作；这本笔记本的 贝叶斯派 / 进化派 / 类比派 就是按这个目标组织的

回到笔记本入口：The Master Algorithm

---

参考文献

• Pedro Domingos. The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World. Basic Books, 2015 (Paperback 2018-02-13).
• Matthew Richardson, Pedro Domingos. "Markov Logic Networks". Machine Learning, 62(1-2), 2006.
• David H. Wolpert, William G. Macready. "No Free Lunch Theorems for Optimization". IEEE Transactions on Evolutionary Computation, 1(1):67-82, 1997.
• Artur d'Avila Garcez, Luis C. Lamb. "Neurosymbolic AI: The 3rd Wave". arXiv:2012.05876, 2020.
• Andrew Gordon Wilson, Zhiting Hu, Ruslan Salakhutdinov, Eric P. Xing. "Deep Kernel Learning". AISTATS, 2016.
• Sebastian Borgeaud et al. "Improving Language Models by Retrieving from Trillions of Tokens" (RETRO). ICML, 2022.
• Pedro Domingos. "A Few Useful Things to Know About Machine Learning". Communications of the ACM, 55(10):78-87, 2012.

---

评论