Bitter Lesson for Agents

https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf

📌 最核心的教训：

“在 AI 领域，最终最有效的方法，总是那些可以利用计算资源扩展的通用方法，而不是依赖人类知识的特定技巧。”

🧠 为什么？

• 计算能力在不断提升（摩尔定律）：长期来看，算力的增长远比人类专家的知识输入更有用。

• 人类知识虽然在短期内有用，但无法扩展（不具可扩展性）：它会限制模型利用大规模计算的潜力。

• 通用方法（如搜索和学习）能持续受益于更多算力，而硬编码的人类知识会逐渐成为瓶颈。

🎮 示例回顾：

1. 国际象棋（Chess）

   • 早期尝试融入人类策略知识；

   • 但击败卡斯帕罗夫的是基于“深度搜索 + 大规模计算”的方法。

2. 围棋（Go）

   • 最初也想靠人类知识；

   • 后来 AlphaGo 使用 自我博弈学习 + 搜索 实现突破。

3. 语音识别（Speech Recognition）

   • 早期依赖人类语言学知识（发音器官、音素等）；

   • 后来 HMM、再到深度学习 + 大数据彻底改变了方向。

4. 计算机视觉（Vision）

   • 早期依赖特征设计（边缘、SIFT 等）；

   • 如今深度网络不再依赖这些手工特征。

⚠️ Sutton 的警告：

• 人类总是倾向于把“我们自己理解世界的方式”硬编码到 AI 里；

• 但这实际上 限制了 AI 自主学习、发现的潜力；

• 我们需要开发 “能发现我们尚未发现的知识” 的 AI，而不是装满我们已有知识的 AI。

✅ Bitter Lesson 的两个启示：

1. 最值得投入的是通用、可扩展的计算方法：尤其是搜索和学习。

2. 不要硬编码人类关于世界的理解：如物体、空间、规则、对称性等等 —— 这些都过于复杂，应该靠 AI 自己去学。