13. 计算性能

在深度学习中，数据集和模型通常都很大，涉及大量的计算。因此，计算性能至关重要。本章将重点介绍影响计算性能的主要因素：命令式编程、符号式编程、异步计算、自动并行和多GPU计算。通过学习本章，你可以进一步提高在前面章节中实现的那些模型的计算性能，例如，在不影响精度的情况下减少训练时间。

• 13.1. 编译器和解释器
  • 13.1.1. 符号式编程
  • 13.1.2. 混合式编程
  • 13.1.3. 混合Sequential类
  • 13.1.4. 小结
  • 13.1.5. 练习
• 13.2. 异步计算
  • 13.2.1. 通过后端实现异步
  • 13.2.2. 屏障与阻塞
  • 13.2.3. 改进计算
  • 13.2.4. 小结
  • 13.2.5. 练习
• 13.3. 自动并行
  • 13.3.1. GPU上的并行计算
  • 13.3.2. 并行计算与通信
  • 13.3.3. 小结
  • 13.3.4. 练习
• 13.4. 硬件
  • 13.4.1. 计算机
  • 13.4.2. 内存
  • 13.4.3. 存储
  • 13.4.4. CPU
  • 13.4.5. GPU和其他加速器
  • 13.4.6. 网络和总线
  • 13.4.7. 更多延迟数据
  • 13.4.8. 小结
  • 13.4.9. 练习
• 13.5. 在多个 GPU 上训练
  • 13.5.1. 分解问题
  • 13.5.2. 数据并行
  • 13.5.3. 一个玩具网络
  • 13.5.4. 数据同步
  • 13.5.5. 分发数据
  • 13.5.6. 训练
  • 13.5.7. 小结
  • 13.5.8. 练习
• 13.6. 多个 GPU 的简洁实现
  • 13.6.1. 一个玩具网络
  • 13.6.2. 网络初始化
  • 13.6.3. 训练
  • 13.6.4. 小结
  • 13.6.5. 练习
• 13.7. 参数服务器
  • 13.7.1. 数据并行训练
  • 13.7.2. 环同步
  • 13.7.3. 多机训练
  • 13.7.4. 键值存储
  • 13.7.5. 小结
  • 13.7.6. 练习