/paper-reading

深度学习经典、新论文逐段精读

Apache License 2.0Apache-2.0

深度学习论文精读

录制完成的论文

日期 标题 封面 时长 视频
3/24/22 斯坦福 2022 年 AI 指数报告 精读 1:19:56 B站, YouTube
3/17/22 AlphaCode 论文精读 44:00 B站, YouTube
3/10/22 OpenAI Codex 论文精读 47:58 B站, YouTube
3/3/22 GPT, GPT-2, GPT-3 精读 1:29:58 B站, YouTube
2/24/22 Two-Stream 逐段精读 52:57 B站, YouTube
2/10/22 CLIP 逐段精读 1:38:25 B站, 知乎, YouTube
2/6/22 你（被）吐槽过论文不够 novel 吗？ 14:11 B站, 知乎
1/23/22 AlphaFold 2 精读 1:15:28 B站, 知乎, YouTube
1/18/22 如何判断（你自己的）研究工作的价值 9:59 B站, 知乎
1/15/22 Swin Transformer 精读 1:00:21 B站, 知乎, YouTube
1/7/22 指导数学直觉 52:51 B站, 知乎, YouTube
1/5/22 AlphaFold 2 预告 03:28 B站
12/20/21 对比学习论文综述 1:32:01 B站, 知乎, YouTube
12/15/21 MoCo 逐段精读 1:24:11 B站, 知乎, YouTube
12/9/21 如何找研究想法 1 5:34 B站
12/8/21 MAE 逐段精读 47:04 B站, 知乎, YouTube
11/29/21 ViT 逐段精读 1:11:30 B站, 知乎, YouTube
11/18/21 BERT 逐段精读 45:49 B站, 知乎, YouTube
11/9/21 GAN 逐段精读 46:16 B站, 知乎, YouTube
11/3/21 零基础多图详解 图神经网络（GNN/GCN） 1:06:19 B站, 知乎, YouTube
10/27/21 Transformer 逐段精读
（视频中提到的文献 1)		 1:27:05 B站, 知乎, YouTube
10/22/21 ResNet 论文逐段精读 53:46 B站, 知乎, YouTube
10/21/21 撑起计算机视觉半边天的 ResNet 11:50 B站, 知乎, YouTube
10/15/21 AlexNet 论文逐段精读 55:21 B站, 知乎, YouTube
10/14/21 9年后重读深度学习奠基作之一：AlexNet 19:59 B站, 知乎, YouTube
10/06/21 如何读论文 06:39 B站, 知乎, YouTube

所有论文

包括已经录制完成和之后将要介绍的论文。选取的原则是10年内深度学习里有影响力文章（必读文章），或者近期比较有意思的文章。当然这十年里重要的工作太多了，不可能一一过一遍。在选取的时候我会偏向一些之前 直播课 中没讲到过的。 欢迎大家在 讨论区 里提供建（点）议（歌）。

（这里引用采用的是 semanticscholar，是因为它提供 API 可以自动获取，不用手动更新。）

计算机视觉 - CNN

已录制 年份 名字 简介 引用
✅ 2012 AlexNet 深度学习热潮的奠基作 73342 (link)
2014 VGG 使用 3x3 卷积构造更深的网络 55856 (link)
2014 GoogleNet 使用并行架构构造更深的网络 26878 (link)
✅ 2015 ResNet 构建深层网络都要有的残差连接。 80816 (link)
2017 MobileNet 适合终端设备的小CNN 8695 (link)
2019 EfficientNet 通过架构搜索得到的CNN 3426 (link)
2021 Non-deep networks 让不深的网络也能在ImageNet刷到SOTA 0 (link)

计算机视觉 - Transformer

已录制 年份 名字 简介 引用
✅ 2020 ViT Transformer杀入CV界 1527 (link)
✅ 2021 CLIP 图片和文本之间的对比学习 399 (link)
✅ 2021 Swin Transformer 多层次的Vision Transformer 384 (link)
2021 MLP-Mixer 使用MLP替换self-attention 137 (link)
✅ 2021 MAE BERT的CV版 4 (link)

计算机视觉 - GAN

已录制 年份 名字 简介 引用
✅ 2014 GAN 生成模型的开创工作 26024 (link)
2015 DCGAN 使用CNN的GAN 9022 (link)
2016 pix2pix 9752 (link)
2016 SRGAN 图片超分辨率 5524 (link)
2017 WGAN 训练更加容易 2620 (link)
2017 CycleGAN 3401 (link)
2018 StyleGAN 2708 (link)
2019 StyleGAN2 1096 (link)
2021 StyleGAN3 23 (link)

计算机视觉 - Object Detection

已录制 年份 名字 简介 引用
2014 R-CNN Two-stage 15545 (link)
2015 Fast R-CNN 12578 (link)
2015 Faster R-CNN 28396 (link)
2016 SSD Single stage 13449 (link)
2016 YOLO 14099 (link)
2017 Mask R-CNN 3580 (link)
2017 YOLOv2 6915 (link)
2018 YOLOv3 7002 (link)
2019 CenterNet Anchor free 773 (link)
2020 DETR Transformer 1053 (link)

计算机视觉 - 对比学习

已录制 年份 名字 简介 引用
✅ 2018 InstDisc 提出实例判别和memory bank做对比学习 885 (link)
✅ 2018 CPC 对比预测编码，图像语音文本强化学习全都能做 2187 (link)
✅ 2019 InvaSpread 一个编码器的端到端对比学习 223 (link)
✅ 2019 CMC 多视角下的对比学习 780 (link)
✅ 2019 MoCov1 无监督训练效果也很好 2011 (link)
✅ 2020 SimCLRv1 简单的对比学习 (数据增强 + MLP head + 大batch训练久) 2958 (link)
✅ 2020 MoCov2 MoCov1 + improvements from SimCLRv1 725 (link)
✅ 2020 SimCLRv2 大的自监督预训练模型很适合做半监督学习 526 (link)
✅ 2020 BYOL 不需要负样本的对比学习 932 (link)
✅ 2020 SWaV 聚类对比学习 593 (link)
✅ 2020 SimSiam 化繁为简的孪生表征学习 403 (link)
✅ 2021 MoCov3 如何更稳定的自监督训练ViT 96 (link)
✅ 2021 DINO transformer加自监督在视觉也很香 200 (link)

自然语言处理 - Transformer

已录制 年份 名字 简介 引用
✅ 2017 Transformer 继MLP、CNN、RNN后的第四大类架构 26029 (link)
✅ 2018 GPT 使用 Transformer 解码器来做预训练 2752 (link)
✅ 2018 BERT Transformer一统NLP的开始 25340 (link)
✅ 2019 GPT-2 更大的 GPT 模型，朝着zero-shot learning迈了一大步 4534 (link)
✅ 2020 GPT-3 100倍更大的 GPT-2，few-shot learning效果显著 2548 (link)

图神经网络

已录制 年份 名字 简介 引用
✅ 2021 图神经网络介绍 GNN的可视化介绍 4 (link)

优化算法

已录制 年份 名字 简介 引用
2014 Adam 深度学习里最常用的优化算法之一 77401 (link)
2016 为什么超大的模型泛化性不错 3112 (link)
2017 为什么Momentum有效 Distill的可视化介绍 116 (link)

新领域应用

已录制 年份 名字 简介 引用
2016 AlphaGo 强化学习出圈 10257 (link)
2020 AlphaFold 赢得比赛的的蛋白质3D结构预测 1074（link)
✅ 2021 AlphaFold 2 原子级别精度的蛋白质3D结构预测 921 (link)
✅ 2021 Codex 使用注释生成代码 92 (link)
✅ 2021 指导数学直觉 分析不同数学物体之前的联系来帮助发现新定理 4 (link)
✅ 2022 AlphaCode 媲美一般程序员的编程解题水平 2 (link)

Footnotes

  1. 1 斯坦福100+作者的200+页综述，2 对LayerNorm的新研究，3 对Attention在Transformer里面作用的研究 ↩