English· Español· Deutsch· Nederlands· Français· 日本語· ქართული· 繁體中文· 简体中文· Português· Русский· العربية· हिन्दी· Italiano· 한국어· Polski· Svenska· Türkçe· Українська· Tiếng Việt· Bahasa Indonesia

un

访客
1 / ?
返回课程列表

范式景观

将科学领域建模为损失景观:范式空间 P 上的函数 L(p),其中 L(p) = 范式 p 下未解释的证据。解释一切的范式有 L = 0(完美)。留下许多未解释内容的范式有高 L。

当前范式坐落在局部最小值处:它解释了大部分已知证据,所以小的偏差会增加 L。这就是范式稳定的原因——梯度下降不断回到它们。

专家知识加深了当前最小值周围的梯度:数十年的工作填充细节、扩展范式的范围、解释异常都使局部最小值的壁垒更加陡峭。当前范式周围的梯度变得更陡。

这产生了专家悖论:专业知识越深,越难逃离当前最小值。使某人成为伟大专家的品质——对当前范式的深度知识——使他们更不可能到达不同的、可能更深的最小值。

范式转变 = 逃离局部最小值:新范式可能是空间中其他地方的更深最小值(更好的解释)。但要到达它,你必须先向上移动——暂时增加未解释的证据——然后下降到新的最小值。这是库恩术语中的'危机'时期。

范式空间:局部最小值与知识拓扑

梯度下降与专家投资

考虑一个位于 L(p) 局部最小值的范式 p。新的异常观察产生证据 E,当前范式无法解释,L(p) 略微上升。

解释为什么范式 p* 的深度专家会通过寻找辅助解释('补丁')而不是放弃 p* 转向新范式来响应异常证据 E。使用损失景观模型:补丁在几何上是什么样的,为什么它是理性的梯度跟踪响应?

范式空间中的吸引域

L(p) 中的每个局部最小值都有一个吸引域:范式空间中的区域,其中梯度下降导向该最小值。

范式 p 的专家多年来一直在 p 的吸引域内。他们非常详细地了解局部拓扑。他们可以高效地在吸引域内导航——这就是他们的专业知识。

局外人到达范式空间中的不同点。他们可能从完全在 p 的吸引域外的一点开始——也许在不同范式的吸引域中,或在鞍点上,或在梯度很小的平坦区域。他们没有强梯度将他们拉向 p

这是局外人优势的几何解释:他们没有被梯度下降进入当前最小值。他们在范式空间中的起点受约束较少。

景观术语中的两种专家失败模式:

- 假阴性(抵抗有效的新想法):新想法对应于不同的局部最小值。深入其吸引域的专家将朝向新最小值的方向感知为上升(增加 L)并拒绝它。

- 假阳性(推广无效的想法):新想法修补小异常,在当前吸引域内向下移动。专家的梯度感知说'是的,这减少了 L'——但它可能移动到较浅的局部最小值,而不是更深的。

库恩循环作为梯度动力学

托马斯·库恩描述了循环:正常科学(当前吸引域中的梯度下降)→ 异常积累(L 在 p* 处上升)→ 危机 → 范式转变(跳跃到新吸引域)→ 新的正常科学。

在损失景观模型中,描述库恩四个阶段中每个阶段的景观是什么样的。对于每个阶段,说明:(a) 系统在景观中的位置,(b) 梯度下降在做什么,(c) 异常积累在几何上是什么样的。

不可能性作为可行域的边界

数学或工程中的不可能性证明可以在某个参数空间中从几何上建模为可行域

例子:33 英尺水升结果。参数是 h = 升降高度。吸入泵机制定义了一个约束:h ≤ P_atm/ρg ≈ 10.3 m。这个约束定义了可行域 F = {h : h ≤ 10.3 m}。不可能性证明说:对于通过这种机制运行的吸入泵,可行域不包括 h > 10.3 m。

驻波泵在不同的参数空间中运行。它不使用吸入;它使用动压力。可行性约束不同;可行域更大。

不可能性证明的隐藏假设等价于假设问题存在于第一个参数空间中(吸入机制)。当这个假设失败时——当解决方案被允许使用不同的机制时——你在一个不同的参数空间中工作,有一个不同的可行域。

从几何上讲:不可能性证明证明了 h > 10.3 m 位于吸入泵的可行域之外。它对h在驻波装置的可行域中的情况没有说什么。

识别隐藏的约束

考虑这个说法:'你不能以超过频道带宽的速率传输信息。'在香农的工作之前,这广泛被相信。

香农在 1948 年显示信道容量 C = B log₂(1 + S/N),其中 B 是带宽,S/N 是信噪比。香农前不可能性说法中隐藏的假设是什么——定义专家认为信息速率受限的'可行域'的约束是什么?香农的证明在几何上对该约束显示了什么?