3. 线性神经网络用于回归

在担心如何将神经网络做得更深之前，实现一些浅层网络会很有帮助，在这些网络中，输入直接连接到输出。这很重要，原因有几个。首先，我们可以专注于神经网络训练的基础知识，包括参数化输出层、处理数据、指定损失函数和训练模型，而不是被复杂的架构分心。其次，这类浅层网络恰好包含了线性模型，它涵盖了许多经典的统计预测方法，包括线性和 softmax 回归。理解这些经典工具至关重要，因为它们在许多情况下被广泛使用，当我们证明使用更复杂的架构是合理的时候，我们通常需要使用它们作为基线。本章将专门关注线性回归，下一章将通过开发用于分类的线性神经网络来扩展我们的模型库。

• 3.1. 线性回归
  • 3.1.1. 基础
  • 3.1.2. 矢量化加速
  • 3.1.3. 正态分布与平方损失
  • 3.1.4. 作为神经网络的线性回归
  • 3.1.5. 小结
  • 3.1.6. 练习
• 3.2. 面向对象的实现设计
  • 3.2.1. 实用工具
  • 3.2.2. 模型
  • 3.2.3. 数据
  • 3.2.4. 训练
  • 3.2.5. 小结
  • 3.2.6. 练习
• 3.3. 合成回归数据
  • 3.3.1. 生成数据集
  • 3.3.2. 读取数据集
  • 3.3.3. 数据加载器的简洁实现
  • 3.3.4. 小结
  • 3.3.5. 练习
• 3.4. 从零开始实现线性回归
  • 3.4.1. 定义模型
  • 3.4.2. 定义损失函数
  • 3.4.3. 定义优化算法
  • 3.4.4. 训练
  • 3.4.5. 小结
  • 3.4.6. 练习
• 3.5. 线性回归的简洁实现
  • 3.5.1. 定义模型
  • 3.5.2. 定义损失函数
  • 3.5.3. 定义优化算法
  • 3.5.4. 训练
  • 3.5.5. 小结
  • 3.5.6. 练习
• 3.6. 泛化
  • 3.6.1. 训练误差和泛化误差
  • 3.6.2. 欠拟合还是过拟合？
  • 3.6.3. 模型选择
  • 3.6.4. 小结
  • 3.6.5. 练习
• 3.7. 权重衰减
  • 3.7.1. 范数和权重衰减
  • 3.7.2. 高维线性回归
  • 3.7.3. 从零开始实现
  • 3.7.4. 简洁实现
  • 3.7.5. 小结
  • 3.7.6. 练习