动手学深度学习

动手学深度学习

一本包含代码、数学和讨论的交互式深度学习书籍

使用 PyTorch、NumPy/MXNet、JAX 和 TensorFlow 实现

被来自70个国家的500所大学采纳

Star

关注 @D2L_ai

• [2023年2月] 本书即将由剑桥大学出版社出版（预订）。中文版是中国最大在线书店的畅销书。关注D2L的开源项目以获取最新更新。
• [2022年12月] JAX实现已可用！新增强化学习、高斯过程和超参数优化等新主题！
• [2022年7月] 查看我们用于实现的新API，以及分类和深度学习中的泛化、ResNeXt、CNN设计空间、以及用于视觉和大规模预训练的Transformer等新主题。
• [2022年5月] 加入我们，改进正在进行的葡萄牙语、土耳其语、越南语、韩语和日语翻译。
• [2021年12月] 我们增加了一个免费运行本书的新选项：查看SageMaker Studio Lab。
• [2021年5月] 伯克利课程的幻灯片、Jupyter笔记本、作业和视频可以在课程大纲页面找到。

作者

张翔

亚马逊

Zack C. Lipton

卡内基梅隆大学与亚马逊

李沐

亚马逊

Alex J. Smola

亚马逊

第二卷章节作者

Pratik Chaudhari

宾夕法尼亚大学与亚马逊
强化学习

Rasool Fakoor

亚马逊
强化学习

Kavosh Asadi

亚马逊
强化学习

Andrew Gordon Wilson

纽约大学与亚马逊
高斯过程

Aaron Klein

亚马逊
超参数优化

Matthias Seeger

亚马逊
超参数优化

Cedric Archambeau

亚马逊
超参数优化

张帅

亚马逊
推荐系统

Yi Tay

谷歌
推荐系统

Brent Werness

亚马逊
深度学习数学

Rachel Hu

亚马逊
深度学习数学

框架适配作者

Anirudh Dagar

亚马逊
PyTorch 适配
JAX 适配

Yuan Tang

Akuity
TensorFlow 适配

我们感谢所有社区贡献者
让这本开源书变得对每个人都更好。

为本书做贡献

每一节都是一个可执行的Jupyter笔记本

您可以修改代码和调整超参数以获得即时反馈，从而积累深度学习的实践经验。

在
本地运行

Amazon SageMaker
Studio Lab

亚马逊
SageMaker

谷歌
Colab

数学 + 图表 + 代码

我们提供一种集数学、图表、代码、文本和讨论于一体的交互式学习体验，其中概念和技术通过真实数据集上的实验得到说明和实现。

活跃的社区支持

您可以通过每节提供的链接与社区中成千上万的同行进行讨论和学习。

将D2L用作教科书或参考书

[+] 点击此处显示不完整列表。

阿巴斯大学伊斯兰堡校区
亚历山大大学
阿米尔卡比尔理工大学
阿米提大学
阿姆里塔大学
安那大学
安那大学马杜赖地区校区
那牙雅典耀大学
澳大利亚国立大学
巴伊兰大学
巴纳德学院
北京林业大学
博拉理工学院海得拉巴分校
博拉理工学院皮拉尼分校
BML Munjal大学
波士顿学院
波士顿大学
Brac大学
布兰迪斯大学
布朗大学
布鲁内尔大学
开罗大学
加州州立大学北岭分校
钱卡亚大学
卡内基梅隆大学
墨西哥国立理工学院研究与高等研究中心
查尔姆斯理工大学
金奈数学研究所
Chouaib Doukkali大学
朱拉隆功大学
纽约城市学院
香港城市大学
城市科学与信息技术大学
浦那工程学院
哥伦比亚大学
康奈尔大学
塞浦路斯学院
迪肯大学
迪波内戈罗大学
德累斯顿工业大学
杜克大学
德班理工大学
东地中海大学
国立高等信息学院
国立高等认知学院
国立高等先进技术学校
埃因霍温理工大学
埃默里大学
罗兰大学
国立理工学校
滨海高等理工学院
洛科贾联邦大学
逢甲大学
菲斯克大学
佛罗里达大西洋大学
FPT大学
复旦大学
甘帕特大学
Gayatri Vidya Parishad工程学院（自治）
加济大学
格但斯克工业大学
乔治梅森大学
乔治敦大学
佐治亚理工学院
雅西盖奥尔基·阿萨奇技术大学
金门大学
大湖管理学院
光州科学技术院
哈比卜大学
哈马德·本·哈利法大学
杭州电子科技大学
杭州电子科技大学
韩国外国语大学
哈拉雷理工学院
哈尔滨工业大学
哈佛大学
哈索·普拉特纳研究所
耶路撒冷希伯来大学
杜塞尔多夫海因里希·海涅大学
河南工学院
赫尔梯行政学院
苏斯高等应用科学技术学院
广岛大学
胡志明市外语信息技术大学
不莱梅应用技术大学
柏林经济与法律应用科学大学
哈姆-利普施塔特应用技术大学
香港科技大学
休斯顿社区学院
华中科技大学
柏林洪堡大学
伊本·赫勒敦大学
伊坎西奈山医学院
伦敦帝国学院
阿莱斯矿业学院
印度理工学院孟买分校
印度理工学院海得拉巴分校
印度理工学院焦特布尔分校
印度理工学院坎普尔分校
印度理工学院卡哈拉格普尔分校
印度理工学院曼迪分校
印度理工学院罗巴尔分校
印度商学院
英迪拉·甘地国立开放大学
德里因德拉普拉斯塔信息技术学院
天主教工艺美术学院
图卢兹计算机科学研究所
高等信息与通信技术学院
高等电子与数字技术学院
万隆理工学院
圣保罗联邦教育、科学和技术学院，萨尔图校区
墨西哥国立理工学院
墨西哥自治技术学院
布宜诺斯艾利斯技术学院
麦地那伊斯兰大学
伊斯坦布尔技术大学
哥本哈根信息技术大学
利沃夫伊万·弗兰科国立大学
全北国立大学
约翰霍普金斯大学
维尔茨堡尤利乌斯·马克西米利安大学
庆应义塾大学
阿卜杜拉国王科技大学
法赫德国王石油与矿产大学
费萨尔国王大学
孔古工程学院
韩国航空大学
KPR工程技术学院
庆北国立大学
兰卡斯特大学
领导大学
汉诺威莱布尼兹大学
吕讷堡大学
伦敦政治经济学院
M.S.拉迈亚应用科学大学
Make School
马萨里克大学
麻省理工学院
梅努斯大学
麦吉尔大学
曼努菲亚大学
密尔沃基工程学院
米尼亚大学
密西西比州立大学
密苏里科技大学
穆罕默德·阿里·真纳大学
拉巴特穆罕默德五世大学
莫纳什大学
多媒体大学
莫道克大学
南京大学
南昌航空大学
南京医科大学
南京大学
国立中兴大学
国立技术教师培训与研究所
国立理工学院蒂鲁吉拉伯利分校
国立理工学院瓦朗加尔分校
国立中山大学
国立台中科技大学
国立台湾大学
雅典国家技术大学
乌克兰国家技术大学
国立联合大学
国立科技大学
新加坡国立大学
纳扎尔巴耶夫大学
新泽西理工学院
新墨西哥矿业技术学院
新墨西哥州立大学
纽约大学
纽曼大学
北奥塞梯州立大学
NorthCap大学
东北大学
西北工业大学
西北大学
俄亥俄大学
帕库安大学
北京大学
宾夕法尼亚州立大学
浦项科技大学
比亚韦斯托克工业大学
米兰理工大学
三宝垄国立理工学院
波莫纳学院
智利天主教大学
秘鲁天主教大学
波特兰州立大学
旁遮普大学
普渡大学
普渡大学西北校区
真纳大学
伦敦玛丽女王大学
女王大学
拉德堡德大学
拉德堡德大学
拉吉夫·甘地石油技术学院
伦斯勒理工学院
罗文大学
罗格斯大学，新泽西州立大学
RVS管理研究学院
亚琛工业大学
Sant Longowal工程技术学院
圣塔克拉拉大学
罗马第一大学
首尔国立大学
首尔科学技术大学
上海交通大学
上海电力大学
上海财经大学
Shantilal Shah工程学院
谢里夫理工大学
深圳大学
希瓦吉大学，戈尔哈布尔
西蒙弗雷泽大学
新加坡科技设计大学
西江大学
淑明女子大学
南康涅狄格州立大学
南新罕布什尔大学
圣珀尔滕应用科学大学
斯坦福大学
纽约州立大学奥尔巴尼分校
纽约州立大学宾汉姆顿分校
纽约州立大学弗雷多尼亚分校
斯泰伦博斯大学
斯蒂文斯理工学院
成均馆大学
以色列理工学院
柏林工业大学
慕尼黑工业大学
代尔夫特理工大学
蒙特雷科技大学瓜达拉哈拉校区
泰基尔达·纳默克·凯末尔大学
巴黎电信学院
电信大学
德州农工大学
塔帕尔工程技术学院
清华大学
塔夫茨大学
于默奥大学
马德里卡洛斯三世大学
伊瓦格大学
工程技术大学 - UTEC
萨拉曼卡大学
萨拉戈萨大学
哥伦比亚北方大学
伊塞西大学
新格拉纳达军事大学
拉莫利纳国立农业大学
墨西哥国立自治大学
哥伦比亚国立大学马尼萨莱斯分校
火地岛国立大学
恰帕斯理工大学
瓦伦西亚理工大学
萨莱西阿纳理工大学，昆卡
拉斐尔·兰迪瓦尔大学
胡安卡洛斯国王大学
旧金山基多大学
佩雷拉科技大学
国立科技大学
巴西利亚天主教大学
坎皮纳斯州立大学
戈亚斯联邦大学
米纳斯吉拉斯联邦大学
欧鲁普雷图联邦大学
伯南布哥联邦大学
圣卡洛斯联邦大学
维索萨联邦大学
潘帕联邦大学
里奥格兰德联邦大学
里斯本新大学
麦肯齐长老会大学
巴拉那联邦理工大学
圣心天主教大学
巴里阿尔多莫罗大学
布雷西亚大学
卡塔尼亚大学
帕多瓦大学
安达拉斯大学，巴东
印度尼西亚大学
日惹国立大学
乌达雅纳大学
不来梅大学
巴塞罗那大学
瓦伦西亚大学
海德堡大学
莱比锡大学
加泰罗尼亚理工大学
巴比什-博雅依大学
蒂米什瓦拉西部大学
贝贾亚·阿卜杜拉赫曼·米拉大学
克莱蒙奥弗涅大学
蔚蓝海岸大学
卡昂-诺曼底大学
鲁昂-诺曼底大学
贡比涅技术大学
巴黎-萨克雷大学
图卢兹第一大学
阿克伦大学
阿拉巴马大学亨茨维尔分校
阿拉哈巴德大学
维尔茨堡-施韦因富特应用科学大学
阿肯色大学
奥格斯堡大学
巴格达大学
巴斯大学
布尔吉布阿雷里吉大学
不列颠哥伦比亚大学
加州大学伯克利分校
加州大学欧文分校
加州大学洛杉矶分校
加州大学圣地亚哥分校
加州大学圣塔芭芭拉分校
加州大学圣克鲁兹分校
剑桥大学
堪培拉大学
卡塔尼亚大学
辛辛那提大学
科罗拉多大学博尔德分校
康涅狄格大学
哥本哈根大学
德比大学
佛罗里达大学
热那亚大学
加纳大学
格罗宁根大学
汉堡大学
休斯顿大学
赫尔大学
冰岛大学
爱达荷大学
伊利诺伊大学厄巴纳-香槟分校
对外经济贸易大学
克拉根福大学
列日大学
路易斯安那大学拉法叶分校
马里兰大学
马里兰大学巴尔的摩县分校
马萨诸塞大学洛厄尔分校
密歇根大学
密歇根大学迪尔伯恩分校
米兰比可卡大学
明尼苏达大学双城分校
莫勒图沃大学
内布拉斯加大学奥马哈分校
新罕布什尔大学
纽卡斯尔大学
北卡罗来纳大学教堂山分校
北德克萨斯大学
北菲律宾大学
诺丁汉大学
奥斯陆大学
宾夕法尼亚大学
匹兹堡大学
罗斯托克大学
圣保罗大学
中国科学技术大学
南加州大学
南缅因大学
圣安德鲁斯大学
圣托马斯大学
萨福克大学
悉尼大学
塞格德大学
悉尼科技大学
德黑兰大学
德克萨斯大学奥斯汀分校
德克萨斯大学达拉斯分校
德克萨斯大学里奥格兰德河谷分校
乌迪内大学
华沙大学
华盛顿大学
滑铁卢大学
威斯康星大学麦迪逊分校
布拉迪斯拉发夸美纽斯大学
雅盖隆大学
瓦德曼工程学院
瓦德曼·马哈维尔开放大学
越南-德国大学
Vignana Jyothi管理学院
维尔纽斯大学
瓦格宁根大学
西弗吉尼亚大学
西安大略大学
威奇托州立大学
泽维尔大学布巴内斯瓦尔分校
西交利物浦大学
厦门大学
咸宁职业技术学院
耶鲁大学
叶史瓦大学
耶尔德兹技术大学
延世大学
云南大学
浙江大学

引用本书的BibTeX条目

@book{zhang2023dive,
    title={Dive into Deep Learning},
    author={Zhang, Aston and Lipton, Zachary C. and Li, Mu and Smola, Alexander J.},
    publisher={Cambridge University Press},
    note={\url{https://d2l.com.cn}},
    year={2023}
}

目录

• 前言
• 安装
• 符号

• 1. 引言
  • 1.1. 一个有趣的例子
  • 1.2. 关键组件
  • 1.3. 机器学习问题的种类
  • 1.4. 起源
  • 1.5. 深度学习之路
  • 1.6. 成功案例
  • 1.7. 深度学习的精髓
  • 1.8. 小结
  • 1.9. 练习
• 2. 预备知识
  • 2.1. 数据操作
  • 2.2. 数据预处理
  • 2.3. 线性代数
  • 2.4. 微积分
  • 2.5. 自动微分
  • 2.6. 概率与统计
  • 2.7. 文档
• 3. 用于回归的线性神经网络
  • 3.1. 线性回归
  • 3.2. 面向对象的实现设计
  • 3.3. 合成回归数据
  • 3.4. 从零开始实现线性回归
  • 3.5. 线性回归的简洁实现
  • 3.6. 泛化
  • 3.7. 权重衰减
• 4. 用于分类的线性神经网络
  • 4.1. Softmax 回归
  • 4.2. 图像分类数据集
  • 4.3. 基础分类模型
  • 4.4. 从零开始实现 Softmax 回归
  • 4.5. Softmax 回归的简洁实现
  • 4.6. 分类中的泛化
  • 4.7. 环境和分布偏移
• 5. 多层感知机
  • 5.1. 多层感知机
  • 5.2. 多层感知机的实现
  • 5.3. 前向传播、反向传播和计算图
  • 5.4. 数值稳定性和初始化
  • 5.5. 深度学习中的泛化
  • 5.6. 暂退法 (Dropout)
  • 5.7. 在 Kaggle 上预测房价
• 6. 构造指南
  • 6.1. 层和模块
  • 6.2. 参数管理
  • 6.3. 参数初始化
  • 6.4. 惰性初始化
  • 6.5. 自定义层
  • 6.6. 文件 I/O
  • 6.7. GPU
• 7. 卷积神经网络
  • 7.1. 从全连接层到卷积
  • 7.2. 图像卷积
  • 7.3. 填充和步幅
  • 7.4. 多输入多输出通道
  • 7.5. 池化层
  • 7.6. 卷积神经网络 (LeNet)
• 8. 现代卷积神经网络
  • 8.1. 深度卷积神经网络 (AlexNet)
  • 8.2. 使用块的网络 (VGG)
  • 8.3. 网络中的网络 (NiN)
  • 8.4. 多分支网络 (GoogLeNet)
  • 8.5. 批量归一化
  • 8.6. 残差网络 (ResNet) 和 ResNeXt
  • 8.7. 稠密连接网络 (DenseNet)
  • 8.8. 设计卷积网络架构
• 9. 循环神经网络
  • 9.1. 处理序列
  • 9.2. 将原始文本转换为序列数据
  • 9.3. 语言模型
  • 9.4. 循环神经网络
  • 9.5. 从零开始实现循环神经网络
  • 9.6. 循环神经网络的简洁实现
  • 9.7. 时间反向传播
• 10. 现代循环神经网络
  • 10.1. 长短期记忆网络 (LSTM)
  • 10.2. 门控循环单元 (GRU)
  • 10.3. 深度循环神经网络
  • 10.4. 双向循环神经网络
  • 10.5. 机器翻译和数据集
  • 10.6. 编码器-解码器架构
  • 10.7. 用于机器翻译的序列到序列学习
  • 10.8. 束搜索
• 11. 注意力机制和 Transformer
  • 11.1. 查询、键和值
  • 11.2. 基于相似度的注意力池化
  • 11.3. 注意力评分函数
  • 11.4. 巴达诺注意力机制
  • 11.5. 多头注意力
  • 11.6. 自注意力和位置编码
  • 11.7. Transformer 架构
  • 11.8. 用于视觉的 Transformer
  • 11.9. 使用 Transformer 进行大规模预训练
• 12. 优化算法
  • 12.1. 优化与深度学习
  • 12.2. 凸性
  • 12.3. 梯度下降
  • 12.4. 随机梯度下降
  • 12.5. 小批量随机梯度下降
  • 12.6. 动量法
  • 12.7. Adagrad算法
  • 12.8. RMSProp算法
  • 12.9. Adadelta算法
  • 12.10. Adam算法
  • 12.11. 学习率调度
• 13. 计算性能
  • 13.1. 编译器和解释器
  • 13.2. 异步计算
  • 13.3. 自动并行
  • 13.4. 硬件
  • 13.5. 在多个 GPU 上训练
  • 13.6. 多个 GPU 的简洁实现
  • 13.7. 参数服务器
• 14. 计算机视觉
  • 14.1. 图像增广
  • 14.2. 微调
  • 14.3. 目标检测和边界框
  • 14.4. 锚框
  • 14.5. 多尺度目标检测
  • 14.6. 目标检测数据集
  • 14.7. 单发多框检测 (SSD)
  • 14.8. 区域卷积神经网络 (R-CNNs)
  • 14.9. 语义分割和数据集
  • 14.10. 转置卷积
  • 14.11. 全卷积网络
  • 14.12. 神经风格迁移
  • 14.13. Kaggle 上的图像分类 (CIFAR-10)
  • 14.14. Kaggle 上的狗品种识别 (ImageNet Dogs)
• 15. 自然语言处理：预训练
  • 15.1. 词嵌入 (word2vec)
  • 15.2. 近似训练
  • 15.3. 用于预训练词嵌入的数据集
  • 15.4. 预训练 word2vec
  • 15.5. 全局向量词嵌入 (GloVe)
  • 15.6. 子词嵌入
  • 15.7. 词相似性和类比
  • 15.8. 来自 Transformer 的双向编码器表示 (BERT)
  • 15.9. 用于预训练 BERT 的数据集
  • 15.10. 预训练 BERT
• 16. 自然语言处理：应用
  • 16.1. 情感分析和数据集
  • 16.2. 情感分析：使用循环神经网络
  • 16.3. 情感分析：使用卷积神经网络
  • 16.4. 自然语言推断和数据集
  • 16.5. 自然语言推断：使用注意力机制
  • 16.6. 为序列级和词元级应用微调 BERT
  • 16.7. 自然语言推断：微调 BERT
• 17. 强化学习
  • 17.1. 马尔可夫决策过程 (MDP)
  • 17.2. 值迭代
  • 17.3. Q-学习
• 18. 高斯过程
  • 18.1. 高斯过程简介
  • 18.2. 高斯过程先验
  • 18.3. 高斯过程推断
• 19. 超参数优化
  • 19.1. 什么是超参数优化？
  • 19.2. 超参数优化 API
  • 19.3. 异步随机搜索
  • 19.4. 多保真度超参数优化
  • 19.5. 异步逐次减半
• 20. 生成对抗网络
  • 20.1. 生成对抗网络
  • 20.2. 深度卷积生成对抗网络
• 21. 推荐系统
  • 21.1. 推荐系统概述
  • 21.2. MovieLens 数据集
  • 21.3. 矩阵分解
  • 21.4. AutoRec：使用自编码器进行评分预测
  • 21.5. 推荐系统的个性化排序
  • 21.6. 用于个性化排序的神经协同过滤
  • 21.7. 序列感知推荐系统
  • 21.8. 特征丰富的推荐系统
  • 21.9. 分解机
  • 21.10. 深度分解机
• 22. 附录：深度学习的数学
  • 22.1. 几何与线性代数运算
  • 22.2. 特征分解
  • 22.3. 单变量微积分
  • 22.4. 多变量微积分
  • 22.5. 积分学
  • 22.6. 随机变量
  • 22.7. 最大似然
  • 22.8. 分布
  • 22.9. 朴素贝叶斯
  • 22.10. 统计学
  • 22.11. 信息论
• 23. 附录：深度学习工具
  • 23.1. 使用 Jupyter Notebooks
  • 23.2. 使用 Amazon SageMaker
  • 23.3. 使用 AWS EC2 实例
  • 23.4. 使用 Google Colab
  • 23.5. 选择服务器和 GPU
  • 23.6. 为本书做贡献
  • 23.7. 实用函数和类
  • 23.8. d2l API 文档

• 参考文献