/paper-reading

深度学习经典、新论文逐段精读

Apache License 2.0Apache-2.0

深度学习论文精读

录制完成的论文

日期 标题 封面 时长 视频（4K）
11/18/21 BERT 逐段精读 45:49 B站, 知乎, YouTube
11/9/21 GAN 逐段精读 46:16 B站, 知乎, YouTube
11/3/21 零基础多图详解 图神经网络（GNN/GCN） 66:19 B站, 知乎, YouTube
10/27/21 Transformer 逐段精读
（视频中提到的文献 1)		 87:05 B站, 知乎, YouTube
10/22/21 ResNet 论文逐段精读 53:46 B站, 知乎, YouTube
10/21/21 撑起计算机视觉半边天的 ResNet 11:50 B站, 知乎, YouTube
10/15/21 AlexNet 论文逐段精读 55:21 B站, 知乎, YouTube
10/14/21 9年后重读深度学习奠基作之一：AlexNet 19:59 B站, 知乎, YouTube
10/06/21 如何读论文 06:39 B站, 知乎, YouTube

论文之间的关系：

图示：

所有论文

包括已经录制完成和之后将要介绍的论文。选取的原则是10年内深度学习里有影响力文章（必读文章），或者近期比较有意思的文章。当然这十年里重要的工作太多了，不可能一一过一遍。在选取的时候我会偏向一些之前 直播课 中没讲到过的。 欢迎大家在 讨论区 里提供建（点）议（歌）。

计算机视觉

  1. ✅ [2012] AlexNet。深度学习热潮的奠基作。
  2. ✅ [2014] GAN。生成模型的开创工作。
  3. ✅ [2015] ResNet。构建深层网络都要有的残差连接。
  4. [2019] EfficientNet。通过架构搜索得到的CNN。
  5. [2019] MoCo：无监督训练效果也很好。
  6. [2020] ViT：Transformer杀入CV界。
  7. [2021] CLIP。图片和文本之间的对比学习。
  8. [2021] Non-deep networks。让不深的网络也能在ImageNet刷到SOTA。
  9. [2021] Swin Transformer。多层次的Vision Transformer。

自然语言处理

  1. ✅ [2017] Transformer。继MLP、CNN、RNN后的第四大类架构。
  2. ✅ [2018] BERT。Transformer一统NLP的开始。
  3. [2020] GPT-3。朝着zero-shot learning迈了一大步。当然也得讲到 GPT 和 GPT-2

通用技术

  1. [2014] Adam：深度学习里最常用的优化算法之一。
  2. [2016] 为什么超大的模型泛化性不错

其他领域

  1. AlphaGo。让强化学习出圈的一系列工作。
  2. Out-of-distribution
  3. AlphaFold
  4. Anchor-free object detection
  5. Knowledge graph
  6. [2014] Two-stream networks，首次超越手工特征IDT的视频分类架构
  7. ✅ [2021] 图神经网络

Footnotes

  1. 1 斯坦福100+作者的200+页综述，2 对LayerNorm的新研究，3 对Attention在Transformer里面作用的研究 ↩