深度学习论文精读
录制完成的论文
日期 | 标题 | 封面 | 时长 | 视频(4K) |
---|---|---|---|---|
12/15/21 | MoCo 逐段精读 | 84:11 | B站, 知乎, YouTube | |
12/9/21 | 如何找研究想法 1 | 5:34 | B站 | |
12/8/21 | MAE 逐段精读 | 47:04 | B站, 知乎, YouTube | |
11/29/21 | ViT 逐段精读 | 71:30 | B站, 知乎, YouTube | |
11/18/21 | BERT 逐段精读 | 45:49 | B站, 知乎, YouTube | |
11/9/21 | GAN 逐段精读 | 46:16 | B站, 知乎, YouTube | |
11/3/21 | 零基础多图详解 图神经网络(GNN/GCN) | 66:19 | B站, 知乎, YouTube | |
10/27/21 | Transformer 逐段精读 (视频中提到的文献 1) |
87:05 | B站, 知乎, YouTube | |
10/22/21 | ResNet 论文逐段精读 | 53:46 | B站, 知乎, YouTube | |
10/21/21 | 撑起计算机视觉半边天的 ResNet | 11:50 | B站, 知乎, YouTube | |
10/15/21 | AlexNet 论文逐段精读 | 55:21 | B站, 知乎, YouTube | |
10/14/21 | 9年后重读深度学习奠基作之一:AlexNet | 19:59 | B站, 知乎, YouTube | |
10/06/21 | 如何读论文 | 06:39 | B站, 知乎, YouTube |
所有论文
包括已经录制完成和之后将要介绍的论文。选取的原则是10年内深度学习里有影响力文章(必读文章),或者近期比较有意思的文章。当然这十年里重要的工作太多了,不可能一一过一遍。在选取的时候我会偏向一些之前 直播课 中没讲到过的。 欢迎大家在 讨论区 里提供建(点)议(歌)。
(这里引用采用的是 semanticscholar,是因为它提供 API 可以自动获取,不用手动更新。)
计算机视觉 - CNN
已录制 | 年份 | 名字 | 简介 | 引用 |
---|---|---|---|---|
2012 | AlexNet | 深度学习热潮的奠基作 | 73342 (link) | |
2014 | VGG | 使用 3x3 卷积构造更深的网络 | 55856 (link) | |
2014 | GoogleNet | 使用并行架构构造更深的网络 | 26878 (link) | |
2015 | ResNet | 构建深层网络都要有的残差连接。 | 80816 (link) | |
2017 | MobileNet | 适合终端设备的小CNN | 8695 (link) | |
2019 | EfficientNet | 通过架构搜索得到的CNN | 3426 (link) | |
2019 | MoCo | 无监督训练效果也很好 | 2011 (link) | |
2021 | Non-deep networks | 让不深的网络也能在ImageNet刷到SOTA | 0 (link) |
计算机视觉 - Transformer
已录制 | 年份 | 名字 | 简介 | 引用 |
---|---|---|---|---|
2020 | ViT | Transformer杀入CV界 | 1527 (link) | |
2021 | CLIP | 图片和文本之间的对比学习 | 399 (link) | |
2021 | Swin Transformer | 多层次的Vision Transformer | 384 (link) | |
2021 | MLP-Mixer | 使用MLP替换self-attention | 137 (link) | |
2021 | MAE | BERT的CV版 | 4 (link) |
计算机视觉 - GAN
已录制 | 年份 | 名字 | 简介 | 引用 |
---|---|---|---|---|
2014 | GAN | 生成模型的开创工作 | 26024 (link) | |
2015 | DCGAN | 使用CNN的GAN | 9022 (link) | |
2016 | pix2pix | 9752 (link) | ||
2016 | SRGAN | 图片超分辨率 | 5524 (link) | |
2017 | WGAN | 训练更加容易 | 2620 (link) | |
2017 | CycleGAN | 3401 (link) | ||
2018 | StyleGAN | 2708 (link) | ||
2019 | StyleGAN2 | 1096 (link) | ||
2021 | StyleGAN3 | 23 (link) |
计算机视觉 - Object Detection
已录制 | 年份 | 名字 | 简介 | 引用 |
---|---|---|---|---|
2014 | R-CNN | Two-stage | 15545 (link) | |
2015 | Fast R-CNN | 12578 (link) | ||
2015 | Faster R-CNN | 28396 (link) | ||
2016 | SSD | Single stage | 13449 (link) | |
2016 | YOLO | 14099 (link) | ||
2017 | Mask R-CNN | 3580 (link) | ||
2017 | YOLOv2 | 6915 (link) | ||
2018 | YOLOv3 | 7002 (link) | ||
2019 | CentorNet | Anchor free | 773 (link) | |
2020 | DETR | Transformer | 1053 (link) |
自然语言处理 - Transformer
已录制 | 年份 | 名字 | 简介 | 引用 |
---|---|---|---|---|
2017 | Transformer | 继MLP、CNN、RNN后的第四大类架构 | 26029 (link) | |
2018 | GPT | 使用 Transformer 来做预训练 | 2752 (link) | |
2018 | BERT | Transformer一统NLP的开始 | 25340 (link) | |
2019 | GPT-2 | 4534 (link) | ||
2020 | GPT-3 | 朝着zero-shot learning迈了一大步 | 2548 (link) |
通用技术
已录制 | 年份 | 名字 | 简介 | 引用 |
---|---|---|---|---|
2014 | Adam | 深度学习里最常用的优化算法之一 | 77401 (link) | |
2016 | 为什么超大的模型泛化性不错 | 3112 (link) | ||
2017 | 为什么Momentum有效 | Distill的可视化介绍 | 116 (link) |
其他领域
已录制 | 年份 | 名字 | 简介 | 引用 |
---|---|---|---|---|
2014 | Two-stream networks | 首次超越手工特征的视频分类架构 | 5093 (link) | |
2016 | AlphaGo | 强化学习出圈 | 10257 (link) | |
2021 | 图神经网络介绍 | GNN的可视化介绍 | 4 (link) | |
2021 | 证明数学定理 | 分析不同数学物体之前的联系来帮助发现和证明定理 | 4 (link) |
TODO:
- Out-of-distribution
- AlphaFold
- Anchor-free object detection
- Knowledge graph