5. 多层感知机

在本章中,我们将介绍你的第一个真正的*深度*网络。最简单的深度网络称为*多层感知机*,它由多层神经元组成,每一层都与其下方的层(接收输入)和上方的层(反过来受其影响)完全连接。尽管自动微分极大地简化了深度学习算法的实现,但我们将深入探讨在深度网络中这些梯度是如何计算的。然后,我们将准备讨论与数值稳定性和参数初始化相关的问题,这些问题是成功训练深度网络的关键。当我们训练这种高容量模型时,我们面临着过拟合的风险。因此,我们将重新审视深度网络的正则化和泛化。在此过程中,我们的目标是让你不仅牢固掌握概念,还要掌握使用深度网络的实践。在本章的最后,我们会将迄今为止所介绍的内容应用于一个真实案例:房价预测。关于模型的计算性能、可扩展性和效率的问题,我们将推迟到后续章节讨论。