陶哲轩最新灵魂拷问：AI几乎完全由实证研究主导，学术界完全隐身

【导读】陶哲轩最新发文总结AI领域现状，当前AI发展高度依赖经验与算力，缺乏理论支撑，导致成功难以复制、失败无法解释。辛顿、Rahimi、Jordan等也纷纷警示，AI的黑箱本质和缺乏解释性将限制其可持续发展。唯有建立坚实理论基础，AI才能真正走向透明、安全与可靠的未来。

黑箱、炼金术、大力出奇迹。。。

这些看起来与严谨的科学和数学格格不入的词汇，却成为当下描述大语言模型（LLM）最贴切的比喻。

陶哲轩最近就发表了类似的观点。

当前AI领域的许多突破，更像是工业界「大力出奇迹」式的成功，而并非理论先行的成果。

除了优化数学和数值线性代数这两个相对成熟的领域之外，用于解释AI优缺点的大多数理论数学框架仍处于早期发展阶段。

目前的主要瓶颈并不完全是基础研究资金的缺乏，而是我们对这些数学本身的理解尚未达到我们所期望的程度。

如今LLM这种成功更多依赖于大量的试错、海量的数据和强大的算力，却缺乏严谨系统的理论支撑。

AI研究的现状是明显缺乏系统性的理论解释，而高度依赖经验主义和数据驱动的方式。

这导致的一个突出问题便是，成功的案例往往难以复制，而真正前景光明的用途反而容易意外碰壁。

即使是被誉为「AI教父」的辛顿，对此也有深刻反思。他曾明确指出：

• 「深度学习系统没有任何解释能力」—「系统越强大越不透明」

• 准确揭示了模型虽然能工作，但其内部「为什么这么做」我们却不知道

• 他警告，未来 AI 系统可能会发展出我们无法理解的内部语言

• 进一步让人类无法追踪其思路与计划，使得「黑箱」更深不可测

甚至，有人评论，目前对AI的投资不仅没有促进基础研究，反而是「肥了」那些黑箱制造商，比如OpenAI、Anthropic、谷歌。。。

陶哲轩一开始讨论的是「压缩感知领域」。

陶哲轩将当前的AI研究现状与早期压缩感知领域的情况做了类比。

压缩感知最初由数学家提出了极为严格的理论假设及证明框架，明确了特定条件下算法一定会有效的前提。

然而，实际上早在这些理论出现之前，MRI、地震学、天文学等应用领域早已通过经验和实验摸索出了类似的方法。

这说明，尽管理论在事后给予了严谨的证明和统一的解释，但在实际应用上，却并非不可或缺。

LLM的情况则更加极端：即使到目前为止，能准确解释其成功原因的理论框架仍然完全缺位。

类似GPT-4这样的模型，以惊人的效果震撼了世界，但它们的出现更多是工业界巨头凭借庞大资源进行盲目实验的产物，而非建立在深厚的理论理解基础上。

这让我们不禁想起Ilya早年的看法：他认为机器学习领域最先进的理论往往非常接地气，你很容易就能理解。

正因为如此，AI领域经常出现难以解释的现象。

比如，一个模型在特定任务上展现出强大能力，但换一个看似相近的任务，它却莫名其妙地失败了。

同样的技术方法在不同的模型之间难以复制，某个特定的模型训练策略在一个情景下取得突破，却无法在其他场景中重现。

更直白地讲，目前人类对AI成功背后的真正机制几乎毫无头绪。

即使是辛顿他老人家除了只能「敦促」各国往善良AI发展外，似乎也并没有更深入的解释。

尽管有大量论文试图分析LLM的内部运作机制，但大多停留在表面现象和经验规律的描述上，距离真正的理论基础和第一性原理分析仍然遥远。

事实上，当前深度学习领域中唯一相对成熟的理论工具仅限于数值优化方法（如梯度下降）和线性代数的应用（矩阵运算），而其它更高级的数学工具——如高维统计理论、信息几何理论、随机矩阵理论等——尚未能真正有效地指导深度学习的工程实践。

机器学习领域的著名研究员Ali Rahimi早在2017年就曾尖锐地批评过这一现状，称当前的机器学习研究如同「炼金术」，其本质是缺乏系统性的科学理论指导。

Rahimi指出，我们的机器学习模型越来越强大，但我们却不清楚为何这些模型能如此有效，更无法准确预测其在未来任务上的表现。

著名计算机科学家、AI先驱Michael Jordan也持相似看法。

他形象地指出，当前AI的进步就如同在没有任何桥梁工程理论的情况下盲目建桥，有些桥可能侥幸没有倒塌，但一些则不可避免地会失败。

换句话说，缺乏系统的理论支撑导致当前AI领域成功的偶然性大幅增加，真正的可持续进步变得困难。

对于陶哲轩而言，压缩感知的早期历史提供了一些启示：理论虽非一切，但良好的理论能够对零散经验进行有效的统一，并提供跨领域的普适性标准。

用陶哲轩的话，就是数学定理（理论）为领域带来的是一种清晰性、洞察力、普遍性以及信任度，而这些并不是仅靠经验得出的结果本身所能提供的。

简单说，就是虽然没有理论随便修桥可能会成功，但如果想要提前确保成功，你必须有坚实的理论基础。

陶哲轩还举了一个例子。

像昂贵的MRI（核磁共振）设备制造商（西门子、通用电气、飞利浦、东芝等）若要真正投入大量研发资源，尝试将压缩感知算法应用到他们的最新机型中（他们现在都已经这样做了），就必须高度确信在将理论论证实际应用时不会遇到根本性的障碍。

在这里，起关键作用的并不仅仅是我（陶哲轩）或其他人提出的某个定理，而是数学信号处理文献中压缩感知结果的显著广度（使用了多种不同的数学领域得出了相同的结论），以及数学领域现在认为与医学成像背景相似的其他学科中的压缩感知实验，这些因素共同说服了这些公司，使其相信风险足够低，从财政角度看值得进行相应的投资。

简单来说就是，逻辑上严丝合缝，靠着完美的「推导」建立投资自信。

AI领域呢？

总之，AI领域迫切需要解决的并非单纯增加资金或数据规模，而是找到真正的理论根基。

黑箱、炼金术与大力出奇迹的时代终究不是长久之计。

我们需要更多严谨的理论探索，更少盲目的试错与幸运的赌博。

只有如此，AI领域才能真正实现可持续的发展，成功的案例才能够广泛而稳定地复制，人类才能真正安全地将未来托付给AI。

幸运的是，目前已经很多这方面的研究。

参考资料：

https://mathstodon.xyz/@tao/114967747513180139