Skip to content

似然推理 — 科学推理的概率形式化

Derivation chain position: This is the foundation layer. Jaynes/Cox → [this document] → MaxEnt Grounding → Propositional Operators → ...

This document establishes why probability is the unique formalism for plausible reasoning. It depends on no other Gaia document. Everything downstream builds on the results here.

Status: Target design — foundation baseline

本文档描述纯理论基础：什么是科学推理、为什么概率是正确的形式化工具。 关于如何从命题、约束和证据得到具体 posterior，参见 02-maxent-grounding.md。 关于推理网络的计算结构和算法，参见 07-belief-propagation.md。 本文档不定义具体的编写语言语法、Gaia IR 字段布局或计算层的实现细节。

本文档是 theory/ 层的基础文件。 下游文档在此基础上逐步引入形式结构和算法：

  1. 02-maxent-grounding.md — 从约束到 posterior 的 MaxEnt / Min-KL 落地
  2. 03-propositional-operators.md — 命题算子和逻辑结构
  3. 04-reasoning-strategies.md — 推理策略
  4. 05-formalization-methodology.md — 科学推理形式化
  5. 06-factor-graphs.md — 因子图（命题网络的计算表示）
  6. 07-belief-propagation.md — BP 消息传递算法

1. 科学推理的基本模式

1.1 科学推理比数学逻辑多了什么

与纯数学逻辑相比，科学推理至少多了六层：

  1. 世界接口：前提不是凭空给定，而是来自观测、测量、文献、实验和模型拟合。
  2. 不确定性：我们通常不是在证明命题真，而是在评估它在当前证据下有多可信。
  3. 适用条件：科学规律几乎总带体系限制、理想化条件和背景假设。
  4. 可修正性：新证据可以削弱旧结论。矛盾不是系统崩溃，而是知识更新信号。
  5. 开放式发现：溯因推理、归纳推理和隐含前提的发现都超出纯演绎逻辑的范畴。
  6. 结构性知识：除了概率约束（"P(C) = 0.7"）和逻辑约束（"A → B"），科学推理还涉及结构性声明（"X 是 Y 的因"、"机制是 M"）。这类知识没有真值，不参与命题层的 belief update，但决定哪些干预性 / 反事实查询有意义。详见 08-causality-and-jaynes.md。

因此科学推理的形式化需要的不是单纯的证明系统，而是：

  • 一个能承载科学断言与适用条件的表达体系
  • 一个能在不确定性下做一致更新的推理系统
  • 一个能容纳反驳、矛盾、修订的知识生命周期
  • 一个能区分命题与世界结构的本体（详见 08-causality-and-jaynes.md）

1.2 Polya：似然推理的模式

George Polya（Mathematics and Plausible Reasoning，1954）首次系统地分类了数学和科学中的似然推理模式。他观察到，数学家和科学家日常使用的推理大部分不是严格演绎，而是似然的 — 有说服力但不绝对确定。

Polya 识别出的基本模式：

演绎（deduction）：从一般到特殊。如果前提为真，结论必然为真。这里"必然"指数学意义上的确定性——推导步骤本身无误差（如数学证明、逻辑三段论）。不确定性仅来自前提是否成立，不来自推导过程。

所有金属受热膨胀。铜是金属。∴ 铜受热膨胀。

归纳（induction）：从特殊到一般。观察到多个实例，推测普遍规律。结论超出了证据范围 — 从已观察的推广到未观察的。

铁受热膨胀。铜受热膨胀。银受热膨胀。∴ 金属受热膨胀（？）

溯因（abduction）：从结果到原因。观察到一个现象，推测最佳解释。

患者有发烧和咳嗽。肺炎能解释这些症状。∴ 患者可能有肺炎。

类比（analogy）：从一个领域的模式推测另一个领域的相似模式。

声波有衍射现象。光在某些实验中表现得像波。∴ 光可能也有衍射现象。

这些模式的共同特征：它们都不是保真的（结论可以为假即使前提全真），但它们都不是任意的（结论确实因为前提而变得更可信了）。问题是：能否给这种"更可信"一个精确的数学含义？

1.3 弱三段论：从定性到定量

Polya 进一步将这些模式精确化为弱三段论 — 经典三段论的概率化弱化版本。Jaynes 在 Probability Theory 第 1-2 章中给出了严格的概率论证明。

强三段论（modus ponens）— 经典演绎，保真：

A → B，A 为真  ⊢  B 为真

弱三段论 1（弱确认）— 结论为真使前提更可信：

A → B，B 为真  ⊢  A 更可信

科学中的确证逻辑：假说预言了一个现象，该现象被观察到，假说因此变得更可信。这是归纳/溯因的概率基础。

弱三段论 2（modus tollens）— 结论为假使前提更不可信：

A → B，B 为假  ⊢  A 更不可信

科学中的反驳逻辑：假说预言了一个现象，该现象未被观察到（或观察到相反结果），假说因此被削弱。这是 Popper 可证伪性的概率化表述。

弱三段论 3（弱否认）— 前提为假使结论稍微更不可信：

A → B，A 为假  ⊢  B 稍微更不可信

如果支撑一个结论的理由被否定了，结论本身也应该变得稍微不可信 — 尽管它可能还有其他支撑。"稍微"是因为结论可能有独立于 A 的其他理由。

1.4 四个三段论的统一

这四个三段论完整地描述了一个推理链接中信息传播的四个方向：

三段论 已知 推断 方向
强 (modus ponens) A 真 B 确定真 正向，确定性
弱 1 (确认) B 真 A 更可信 反向，概率性
弱 2 (tollens) B 假 A 更不可信 反向，概率性
弱 3 (否认) A 假 B 稍微更不可信 正向，概率性（弱）

关键洞察：任何将这四个三段论定量化的一致系统，都必须是概率论。这就是 Cox 定理的直觉。

1.5 弱三段论与 entailment 的深层关系

四个三段论都建立在同一个蕴含关系 A → B 上。它们不是四种独立的推理模式，而是同一个 entailment 关系在不同已知条件下的四种表现：

三段论 已知条件 推断方向 效果
强三段论 (modus ponens) A 为真 正向：A → B B 确定为真
弱三段论 3 (弱否认) A 为假 正向：A → B B 略微更不可信
弱三段论 1 (弱确认) B 为真 反向：B → A A 更可信
弱三段论 2 (modus tollens) B 为假 反向：B → A A 更不可信

这意味着 entailment 是最基本的推理关系——一旦 A → B 被建立，它天然包含了正向推导和反向确认/反驳的全部能力。

而 induction 和 abduction 的本质是发现并建立新的 entailment 关系：

  • induction：从多个具体案例中发现规律，提议一个新的蕴含关系。"铜导电、铁导电、铝导电" → 提议 "金属 → 导电" 这个 entailment。
  • abduction：从观测出发寻找解释，提议一个新的蕴含关系。"星系旋转曲线平坦" → 提议 "暗物质存在 → 旋转曲线平坦" 这个 entailment。

因此：探索性推理（归纳、溯因）的终极目标是建立蕴含关系，而蕴含关系一旦建立就自动获得了全部四种三段论的推理能力。

Analogy 不是独立的推理原语

§1.2 中列出的类比（analogy）可以分解为归纳和蕴含的组合：

领域 A: "声波有衍射"  ─── 归纳 ───> "所有的波都有衍射" (∀x. wave(x) → diffraction(x))
                                              │
                                            蕴含
                                              │
领域 B: "光表现得像波" ──────────────> "光可能有衍射"

类比的本质是：从领域 A 归纳出普遍规律（induction），再将该规律蕴含到领域 B 的具体情况（entailment）。或者等价地，观测到 B 与 A 的结构相似性后，溯因提议同一个蕴含关系也适用于 B（abduction）。

无论哪种分解，类比都不引入新的逻辑原语——它是归纳、蕴含和溯因的复合操作。

2. 为什么概率是最简单的正确形式化

2.1 问题：我们需要一个不确定性演算

科学推理的核心特征是不确定性。我们需要一个数学系统来回答：

给定目前所有的证据，命题 A 有多可信？

这个问题的答案不能是二值的（真/假） — 那是纯演绎逻辑。我们需要一个连续值的、能够随新证据更新的、满足基本一致性要求的系统。

2.2 频率主义概率的局限

频率学派将 P(A) 定义为"无限次重复实验中 A 出现的比例"。这无法回答许多科学问题：

  • "火星上曾经有生命的概率是多少？" — 没有重复实验可做
  • "广义相对论是正确的概率是多少？" — 理论不是可重复事件
  • "这块岩石的年龄超过 10 亿年的概率是多少？" — 这块岩石只有一个

这些都是科学中最重要的问题，但频率概率无法处理它们。我们需要的不是"频率"概率，而是"信念度"概率 — 对特定命题的合理性评估。

2.3 纯演绎逻辑的局限

命题逻辑和一阶逻辑提供了精确的推理，但：

  • 真值是二元的 — 无法表达"相当可信但不确定"
  • 推理是单调的 — 增加前提不会推翻结论，但科学中新证据经常推翻旧结论
  • 矛盾导致爆炸 — 经典逻辑中一旦出现矛盾，任何命题都可推出（ex falso quodlibet）

科学需要一个能够处理部分信息、容忍矛盾、并随证据更新的系统。

2.4 Cox 定理：唯一性证明

Richard Cox（1946）证明了一个深刻的结果：任何满足以下三个基本要求的似然推理系统，都同构于概率论。

三个要求：

  1. 实值性：命题的合理性可以用实数表示和排序
  2. 常识一致性：支持命题 A 的证据出现时，A 的合理性连续、单调地增加
  3. 一致性：
  4. (a) 同一结论从不同推理路径得出时，答案必须相同
  5. (b) 不忽略任何已有信息
  6. (c) 相同的信息产生相同的结论

Cox 定理的结论：满足这三条的唯一系统同构于概率论。 任何其他系统要么等价于概率论，要么自相矛盾。

这意味着概率论不是众多方法之一，不是一种"学派" — 它是唯一一致的似然推理系统。

3. Jaynes 纲领：概率即逻辑

E.T. Jaynes（Probability Theory: The Logic of Science，2003）在 Cox 定理的基础上，将概率论发展为完整的推理框架。

3.1 核心论点

Jaynes 的定义：P(A|X) = 给定信息 X 时，命题 A 的合理程度（plausibility）。

每个概率都是条件概率。改变信息，概率就改变 — 这不是主观偏好，而是逻辑必然。P(A|X) 是关于 A 在证据 X 下的客观合理性，而非某个人的个人感受。

3.2 三条规则

由 Cox 定理推导（而非假设）出三条基本规则：

  • 乘法规则：P(AB|X) = P(A|BX) · P(B|X) — 联合合理性的分解
  • 加法规则：P(A|X) + P(¬A|X) = 1 — 命题与其否定互补
  • Bayes 定理：P(H|DX) = P(D|HX) · P(H|X) / P(D|X) — 证据更新

Jaynes 强调：这些不是"方法"或"学派"，是逻辑定理。

3.3 弱三段论的概率证明

Jaynes 给出了 Polya 弱三段论的严格证明（Probability Theory 第 1-2 章）：

弱三段论 1（A→B，B 真 ⊢ A 更可信）：

P(A|BX) = P(B|AX) · P(A|X) / P(B|X)

如果 A→B 成立，则 P(B|AX) 较高。当 B 被观察为真时，P(A|BX) > P(A|X)。这就是 Bayes 定理对确认推理的精确表述。

弱三段论 2（A→B，B 假 ⊢ A 更不可信）：

P(A|¬BX) = P(¬B|AX) · P(A|X) / P(¬B|X)

如果 A→B 成立，则 P(¬B|AX) 较低，因此 P(A|¬BX) < P(A|X)。结论为假使前提更不可信。

弱三段论 3（A→B，A 假 ⊢ B 稍微更不可信）：

P(B|¬AX) = P(B|X) - P(A|X) · [P(B|AX) - P(B|¬AX)]  （边际化展开后）

当 P(B|AX) > P(B|¬AX) 时（即 A 确实对 B 有支撑作用），A 为假会使 B 的合理性降低 — 但降低程度取决于 A 对 B 的边际贡献。如果 B 还有其他独立支撑，降低幅度很小。

3.4 最大熵原则（MaxEnt）

当信息不完整时，应选择在满足已知约束的前提下熵最大的分布 — 这是最诚实的选择，只编码已知信息，不偷偷添加未知假设。

对于二值命题，无额外信息时 MaxEnt 给出 P = 0.5（最大无知状态）。

MaxEnt 不是一种启发式 — 它是信息论的定理：在已知约束下，最大熵分布是唯一不引入额外假设的分布。

但 MaxEnt 在具体系统中的优化目标、与最小相对熵更新的关系、以及如何从约束走到一个局部因子化的 posterior，留待 02-maxent-grounding.md 展开。

3.5 Cromwell 规则

对经验命题永远不要赋予概率 0 或 1。

如果 P(H) = 0，则 Bayes 定理给出 P(H|D) = 0 — 无论多强的证据都无法更新它。这是教条主义，不是理性推理。所有先验和概率都应保持在开区间 (ε, 1-ε) 内。

唯一例外是逻辑真理或定义性命题（如"三角形有三条边"），它们可以赋予概率 1，因为它们不是经验命题。

澄清：Cromwell 规则的适用范围。 Cromwell 规则是 Jaynes 对经验信念赋值的实用建议（practical recommendation），而非 Cox 定理或概率论本身的定理。Cox 定理推导出的三条规则（§3.2）允许概率值取 0 和 1 — Cromwell 规则是在此基础上对建模实践的额外指导。

因此，在 Gaia 的分层架构中： - 本层（theory/）不引入 ε 或数值夹紧 — 概率论允许精确的 0 和 1。 - 命题网络中的逻辑约束（如 03-propositional-operators.md 中定义的硬蕴含、互斥约束）使用精确的 0/1 概率，这完全符合概率论。 - 数值稳定性措施（ε-clamping 等）属于工程层面，定义在 bp/ 和实现层，不属于理论基础。

简言之：Cromwell 规则约束的是人对世界的经验判断，不约束命题网络中的结构性逻辑约束。

4. Jaynes 的机器人

4.1 Robot 隐喻

Jaynes 用一个思想实验贯穿全书：设计一个 Robot，它必须：

  • 接收命题和证据，输出合理性值
  • 严格遵循概率规则（Cox 定理推导出的三条规则）
  • 没有直觉、没有偏见 — 只跟着逻辑走
  • 满足一致性 — 同一问题不同问法必须得到相同答案

Robot 不理解命题的内容。它只看到命题之间的结构关系和概率参数。语义理解由外部智能体（人类或 LLM）负责。

4.2 两层架构

Robot 隐喻自然地产生一种两层架构：

层 角色 由谁处理
内容层 命题语义 — 命题的含义 人类 + 外部智能体
图结构层 推理拓扑 — 命题之间的结构关系和概率 Robot（自动计算）

这个分层不是工程权衡，是 Jaynes 理论的直接推论：Robot 只需要知道"命题的合理性"和"证据的可靠性"，不需要理解命题说了什么。

4.3 构造/验证分离

Robot 隐喻还暗示了一个重要的架构原则：构造和验证是分离的。

  • 构造：外部智能体（人类、LLM）提出命题、建立推理链接、标注概率。这个过程可能出错 — LLM 会幻觉，人类会犯错。
  • 验证：Robot 在给定的图结构上严格计算一致的信念值。如果构造中有错误（比如循环论证、矛盾的概率标注），Robot 的计算会自然地暴露它们 — 产生反直觉的信念值。

这类似于 Lean 等证明助手中的构造/验证分离：用户构造证明项，内核独立验证。错误的构造不会破坏系统 — 验证会捕获它。

5. 矛盾作为一等公民

5.1 经典逻辑中的矛盾：系统崩溃

在经典逻辑中，矛盾触发爆炸原理（ex falso quodlibet） — 从矛盾可以推出任何结论：

A ∧ ¬A  →  ⊥  →  任意命题

系统崩溃。这就是为什么经典逻辑系统必须不惜一切代价避免矛盾。

5.2 Jaynes 框架中的矛盾：证据冲突

在 Jaynes 的框架中，矛盾是冲突的证据 — 不同证据指向不同方向：

P(A ∧ B | I) ≈ 0  — A 和 B 不能同时为真

这不是"A 不太可能"或"B 不太可能"，而是一条新的约束信息。系统不会崩溃；它调整信念：

经典逻辑：  A ∧ ¬A  →  ⊥  →  任意命题    （系统崩溃）
Jaynes：    P(A∧B|I) ≈ 0  →  后验赔率自动调整  （系统学习）

5.3 弱证据优先让步

这是一个从 Bayes 定理推导出的结果，不是设计选择。

当两个命题被声明为矛盾（不能同时为真）时，Bayesian 更新自动产生以下效应：

posterior odds = prior odds × likelihood ratio

矛盾约束对所有相关命题发送"抑制性"信号。但先验越弱的命题被削弱越多 — 因为它的先验赔率更小，乘以同样的惩罚性似然比后，绝对衰减更大。

直觉：如果一条证据充分的断言和一条证据薄弱的断言产生矛盾，理性推理者应该首先质疑证据薄弱的那条。这恰好是 Bayes 定理的自然结果。

5.4 矛盾对科学的意义

科学通过矛盾进步。实验反驳假说、不同理论产生冲突预测、新证据推翻已有结论 — 这些都是科学知识演化的核心驱动力。

一个形式化科学推理的系统必须将矛盾作为一等公民 — 不是异常、不是数据质量问题，而是最重要的信息来源之一。传统知识图谱害怕矛盾（矛盾 = 需要清洗的脏数据）。科学推理形式化应该拥抱矛盾（矛盾 = 知识进步的引擎）。

上述五章建立了科学推理的认识论基础：推理模式（Polya）、概率作为唯一一致的形式化（Cox）、完整的推理框架（Jaynes）、Robot 的两层架构、以及矛盾的一等公民地位。

这些概率关系在大规模科学知识上形成一个需要计算结构和算法的网络。关于如何从约束、MaxEnt 和相对熵更新得到具体 posterior，参见 02-maxent-grounding.md。关于命题网络的计算表示和推理算法，参见 06-factor-graphs.md 和 07-belief-propagation.md。

参考文献

  • Jaynes, E.T. Probability Theory: The Logic of Science (2003)
  • Cox, R.T. "Probability, Frequency and Reasonable Expectation" (1946)
  • Polya, G. Mathematics and Plausible Reasoning (1954)