AI与其说是被发明的还不如说是被发现的，它是人类进化的产物。

总体来看，当前的人工智能，尤其是以大模型为代表的前沿方向，确实处于“工程实践大幅领先，理论研究相对滞后”的阶段。

但这并不意味着理论完全缺失，而是指理论和实践的关系发生了错位。

一、为什么说“工程实践先行”？

最直观的证据是，过去几年几乎所有关键突破，都不是源自某种深刻的新理论，而是来自大规模工程试错。

• “规模效应”是先试出来的
  GPT-3 在 2020 年展示出的“涌现能力”——比如通过提示词就能做翻译、写代码，并不是理论预测的结果。OpenAI 只是把模型做得更大，然后观察到了这些能力。后来 DeepMind 的“Chinchilla 缩放定律”虽然用数据拟合出了模型大小、数据量和性能的关系，但这本质是对经验的总结，并非第一性原理推导。

• 核心方法来自工程直觉
  决定大模型成败的 Transformer 架构、RLHF（基于人类反馈的强化学习）、指令微调、思维链 等方法，大多是由工程师和研究人员凭着直觉、实验和大量消融实验“撞”出来的。它们有效，但我们至今无法从理论上清晰、严格地解释，为什么它们如此有效。

• “先跑通，再解释”成为常态
  像 LoRA（低秩适应）这类高效微调方法，被广泛应用后才出现更多理论分析，解释为何低秩更新就能匹配全参数微调的效果。类似地，对“上下文学习”的原理至今仍是热门研究课题。

二、为什么说“理论研究相对滞后”？

滞后体现在，我们缺乏一套能与工程能力匹配的、能指导实践的理论框架。

• 深度学习的基础性难题依然存在
  比如，过度参数化的神经网络为何能极好地泛化，而不是死记硬背？随机梯度下降为何总能找到如此平坦、泛化性好的极小值？这些基本问题困扰学界多年，针对大模型的理论分析更加困难。

• 对“涌现”和“推理”缺乏严谨解释
  “规模大到一定程度，能力就突然跃升”——目前的理论对其边界、条件和可控性几乎没有预测能力。大模型的幻觉、事实性错误和推理能力的本质，也远远没有理论层面的共识。

• 理论在“追赶”现象，而非“预言”现象
  很多理论工作的模式是：一个新的工程现象出现 → 研究者提出数学模型试图解释它。它极少数能反过来直接预言某种新的有效架构或训练方法。这就像先造出了强大的蒸汽机，热力学定律才慢慢被总结出来。

三、但也不能说“完全没有理论”

需要澄清的是，这个判断不意味着理论工作一片空白，只是它的角色变了。

1. 有大量高价值理论在跟进
   比如基于神经正切核的优化理论、对Transformer表达能力的分析、信息瓶颈理论对学习动力学的解释，以及用物理中的重整化群等方法理解深度网络，都在逐步揭示黑箱。

2. 理论提供了关键的理解边界和启发
   例如，关于提示工程、上下文学习的理论研究，直接指导了如何更好地设计提示和选择示例；对缩放定律的深入分析，直接影响了新模型的资源配置。

3. 系统层面的理论进步不可忽视
   在分布式训练、内存优化、混合精度训练等工程系统领域，理论和工程结合得非常紧密，但这是相对“下游”的理论，和“智能本质”这类核心理论不是一回事。

形象一点的比喻

当前的 AI 很像早期的炼金术或蒸汽机时代——实践者凭借经验、直觉和精巧的试验，造出了改变世界的强大造物（大模型），但对其内部运作机理的理解还停留在半经验层面。我们拥有越来越强大的“飞行器”，但还没有一套完整的“空气动力学”来完美解释它为何能飞、如何飞得更好。

总的来说：AI 正处于一个工程上的“大航海时代”，实践之船航行在理论地图尚未完全覆盖的海域上。 这种状态可能还会持续相当长的时间，因为追求更好的工程效果和追求深层理论理解，目前是两条时而交汇、但经常独立前行的河流。