19. 超参数优化

Aaron Klein (Amazon), Matthias Seeger (Amazon), and Cedric Archambeau (Amazon)

每个机器学习模型的性能都取决于其超参数。它们控制着学习算法或底层统计模型的结构。然而，在实践中没有通用的方法来选择超参数。相反，超参数通常是通过试错的方式来设置，有时从业者会将其保留为默认值，这会导致泛化性能欠佳。

超参数优化通过将其视为一个优化问题，为这个问题提供了一种系统性的方法：一组好的超参数应该（至少）能最小化验证误差。与机器学习中出现的大多数其他优化问题相比，超参数优化是一个嵌套问题，其中每次迭代都需要训练和验证一个机器学习模型。

在本章中，我们将首先介绍超参数优化的基础知识。我们还将介绍一些最新的进展，这些进展通过利用原始目标函数的廉价代理来提高超参数优化的整体效率。在本章结束时，你应该能够应用最先进的超参数优化技术来优化你自己的机器学习算法的超参数。

• 19.1. 什么是超参数优化？
  • 19.1.1. 优化问题
  • 19.1.2. 随机搜索
  • 19.1.3. 小结
  • 19.1.4. 练习
• 19.2. 超参数优化 API
  • 19.2.1. 搜索器
  • 19.2.2. 调度器
  • 19.2.3. 调优器
  • 19.2.4. 记录HPO算法的性能
  • 19.2.5. 示例：优化卷积神经网络的超参数
  • 19.2.6. 比较HPO算法
  • 19.2.7. 小结
  • 19.2.8. 练习
• 19.3. 异步随机搜索
  • 19.3.1. 目标函数
  • 19.3.2. 异步调度器
  • 19.3.3. 可视化异步优化过程
  • 19.3.4. 小结
  • 19.3.5. 练习
• 19.4. 多保真度超参数优化
  • 19.4.1. 逐次减半
  • 19.4.2. 小结
• 19.5. 异步逐次减半
  • 19.5.1. 目标函数
  • 19.5.2. 异步调度器
  • 19.5.3. 可视化优化过程
  • 19.5.4. 小结