这篇文章探讨了深度学习中一种现象——过度参数化的成功。尽管模型拥有大量的参数，但有时它们仍然能够有效地进行训练并获得良好的性能。文章提出了两种可能的解释：一是“彩票”（Lottery Ticket），即在海量参数中随机选择一部分参数，这些参数组合恰好具有强大的表达能力；二是“逃离维度”（Escape Dimensions），即模型通过某种机制避免了陷入低维度的陷阱，从而能够更好地利用高维空间。文章分析了这两种假设的优缺点，并探讨了它们在实际应用中的意义和局限性。
📎 原文：Puzzling Success of Overparameterization: Lottery Tickets or Escape Dimensions? | 来源：Hacker News