jeffreymingyue/GPUREADME

A pupil in the computer world.(Felix Fu)

2023年03月4号以后，笔记更改为飞书记录，链接：https://g3zl906jfq.feishu.cn/wiki/wikcnKU1GWH6NF6TDmsV0e5JhDe

🍭理论篇

1⃣️ 数学

张宇的考研数学：

• 高数
• 线性代数
• 概率

链接: https://pan.baidu.com/s/1E7FbAw94QcoaobBcgHXa1g 提取码: 7jm4

2⃣️ 语言

🍬C++🐾

🍃 编译相关

• 🐾 cpp编译过程 --> C++静态库与动态库 --> gcc、cmake | gcc参数选项 --> makefile手册
• 🐾 why make --> cmake
• 🐾 CMake Tutorial | CMakeLists.txt格式 | CMake官方教程-英文 | CMake手册-别人的blog |CMake Demo Github | Cmake Demo github2
• 🐾 CMake 教程中文版

🍃 C++学习

• 🐾 C++入门(语法为主)—黑马
• 🐾 侯杰C++系列
• 🐾 C++设计模式—李建忠
• 🐾 C++并发与多线程--笔记、视频 王建伟
  • 1、线程C语言-苏丙榅|C++
  • 2、文件描述符
  • 3、线程池C语言|C++ | 自己

🍃 C++工具

• 🐾 VS Code + UML ｜ 类图语法参考
• 🐾 UML类关系

🍃 算法&数据结构

• 🐾 反转链表、链表操作、合并链表
• 🐾 最小K个数
• 🐾 排序

🍬Python🐾

🍃 深度之眼👀

• 🐾 第二章 Python基本语法元素.ipynb
• 🐾 第三章 基本数据类型.ipynb
• 🐾 第四章 组合数据类型.ipynb
• 🐾 第五章 程序控制结构.ipynb
• 🐾 第六章 函数.ipynb
• 🐾 第七章 类——面向对象的编程.ipynb
• 🐾 第八章 文件、异常和模块.ipynb
• 🐾 第九章 有益的探索.ipynb
• 🐾 第十章 Python标准库.ipynb
• 🐾 第十一章 Numpy库.ipynb
• 🐾 第十二章 Pandas 库.ipynb
• 🐾 第十三章 Matplotlib库.ipynb
• 🐾 第十四章 scikit-learn 库.ipynb
• 🐾 第十五章 再谈编程.ipynb

🍃 Numpy&Matplotlib

• 🐾 Ndarray数组轴的解释

• 🐾 Matplotlib 唐宇迪

  • Matplotlib基本操作 ｜风格设置 ｜条形图 ｜盒图｜直方图and散点图｜3D图｜pie图和子图布局｜Pandas与sklearn结合实例

• 🐾 如何计算topk

🍃 Python封装工具

• 🐾 Python程序封装为exe等
• 🐾 Python程序封装成wheel、setuptools
• 🐾 Python pybind11

🍭环境篇

1⃣️ GPUs

🍬 GPU知识

• 🐾 深入GPU硬件架构及运行机制
• 🐾 gpustat
• 🐾 nvidia-smi命令
• 🐾 NUMA & GPU
• 🐾 GPU Direct
• 🐾 GPU-Driver-Cuda- pytorch-tensorflow 对应关系
• 🐾 CUDA Samples
• 🐾 cuda和cudatoolkit
• 🐾 windows下同一个显卡配置多个CUDA工具包以及它们之间的切换
• 🐾 Linux 和 Windows 查看 CUDA 和 cuDNN 版本

🍬 GPUs训练环境安装

• 🐾 Driver安装 Ubuntu16.04 -------> CUDA、cuDNN安装 Ubuntu16.04 | Windows10--> Docker-->NVDocker

• 🐾 Horovod安装--见pytorch分布式小节

• 🐾 TensorRT Ubuntu -- Windows10

2⃣️ Pytorch

🍬Pytorch分布式🐾

• 🐾 分布式概念介绍-MPI
• 🐾 GPU&CUDA多机通信-硬件、库、框架三个层次 | 学习代码-需整理 | distributed + apex - 需整理

🍃 Horovod搭建过程

• 🐾 整体日志

• 🐾 IPMI配置

• 🐾 Ubuntu16.04 Server安装

• 🐾 Ubuntu16.04 配置IP

• 🐾 Ubuntu16.04 修改APT源

• 🐾 Ubuntu16.04 安装NVIDIA驱动 【一、安装440版本，可根据需求调换版本】

• 🐾 Ubuntu16.04 安装CUDA，cuDNN【二、安装cuda10.2 和cudnn7.6.5，可根据需求调换版本】

• 🐾 Ubuntu16.04安装nccl & 测试【三、安装nccl 2.6.4，可根据需求调换版本，apt-cache madison】

• 🐾 Pytorch多机多卡【四、测试多机多卡，先测试无RDMA的。需安装torch 1.2 torchvision0.4.0】

• 🐾 装安IB驱动【五、装IB，加速IB卡之间的RDMA】

• 🐾 Pytorch多机多卡【六、再次跑多机多卡程序，与四的效果对比】

• 🐾 安装NV_Peer_Memory【七、安装nv_peer_memory, 加速GPURDMA】

• 🐾 Pytorch多机多卡【八、再次跑多机多卡程序与四、六对比】

• 🐾 安装OpenMPI【九、安装OpenMPI，为Horovod做准备】

• 🐾 安装Horovod【十、安装Horovod，并测试程序，与四、六、八对比】

• 🐾 Ubuntu16.04 安装Docker【十一、安装Docker】

• 🐾 Ubuntu16.04 安装NVIDIA Docker【十二、安装NV-Docker】

• 🐾 在Docker中运行Horovod【十三、在Docker中运行Horovod】

🍬Pytorch函数学习📒

3⃣️ 工具

🍬 图像预处理

• 🐾 图像标注工具labelme
• 🐾 图像去重工具imagededup
• 🐾 图像增强工具imgaug

🍬 实验工具

• 🐾 实验管理工具sacred
• 🐾 bypy 百度云下载python
• 🐾 Python日志库loguru
• 🐾 字典2dot--dotmap

🍬 IDE&Tools安装

• 🐾 JupyterLab安装 Ubuntu
• 🐾 Matlab安装 Ubuntu
• 🐾 xrdp Ubuntu
• 🐾 VS2019 Windows
  • VS之调试断点无效
• 🐾 CLion 安装与调试 Mac
• 🐾 cmake 安装
• 🐾 pycuda安装
• 🐾 OpenCV GPU-Ubuntu -- CPU-Ubuntu
• 🐾 VS Code 使用笔记
• 🐾 Pycharm手册
• 🐾 Conda
  • conda 安装报错 specified in the package manifest cannot be found.
  • 修改conda环境和缓存默认路径
  • Anaconda 换源更改镜像，删源
  • conda常用命令

🍭训练篇&部署篇

0⃣️ 常见报错

• 🐾 opencv读取数据--segmentation fault

1⃣️ 检查数据

2⃣️训练模型--train e ↓

🍬数据预处理

🍃 数据集介绍

• 🐾 VOC
• 🐾 COCO
• 🐾 Cityscapaces

🍃 特征缩放

• 🐾 归一化和标准化

🍃 数据读取

• 🐾 加速训练 —提高 GPU 利用率
• 🐾 加速训练—NN如何占用GPU显存以及如何节约显存

🍃 Python读取图片

• 🐾 opencv读取数据--segmentation fault
• 🐾 使用不同的库读取图片

🍬 网络模型

🍃 机器学习

• 🐾 最小二乘法
• 🐾 kmeans

🍃 NN

• 🐾 NN发展史 ｜ 45分钟理解深度神经网络和深度学习-拟合角度
• 🐾 零基础入门深度学习： 感知器->线性单元和梯度下降->神经网络和反向传播算法->卷积神经网络->循环神经网络->长短时记忆网络(LSTM)->递归神经网络

🍃CNN

• 🐾 CNN介绍 ->CNN网络代码讲解加部署 ⭐
• 🐾 LeNet, AlexNet, VGG-> Inception -> ResNet -> DSC理解 ->->SENet DenseNet-> MobileNet ->EfficientNet
• 🐾. conv 1* 1的作用
• 🐾 上采样

🍃RNN/NLP

• 🐾 RNN/LSTM/GRU
• 🐾 Attention&Transformer

🍃GAN

• 🐾 入门介绍 | GAN综述2019
• 🐾 GAN ZOO | ZOO for beginner | StyleGAN-Zoo
• 🐾 GAN学习路线笔记
  • GAN(生成对抗网络):笔记 | 入门CODE
  • DCGAN(深度卷积生成对抗网络): 原理同GAN相同，只是全连接神经网络换成Deep Conv | 入门CODE
  • CGAN(条件生成对抗网络): 笔记 | 入门CODE
  • CycleGAN
  • CoGAN：耦合生成对抗网络
  • ProGAN：生成对抗网络的渐进式增长
  • WGAN(Wasserstein 生成对抗网络): 笔记| 入门CODE
  • SAGAN：自注意力生成对抗网络
  • BigGAN：大生成对抗性网络
  • StyleGAN：基于风格的生成对抗网络
• GAN Pytorch实现

🍃Detection

• 🐾 RCNNs
• 🐾 YOLO:v1->yolo v2->yolo v3->yolo v4->Yolox

🍃Segmentation

• 🐾 分割综述(2020)
• 🐾 UNet Family:UNet->UNet++
• 🐾 PSPNet
• 🐾 DUC & HDC

🍃 IQA

• 🐾 HyperNet

🍃 FSL(小样本)

• 🐾 入门学习视频 ｜ PPT
• 🐾 小样本与元学习
• 🐾 综述---《Generalizing from a Few Examples: A Survey on Few-Shot Learning》学习|小样本论文收集-GitHub |视频
• 🐾 元学习的方法实现小样本分类
• 🐾 meta-learning系列
  • 元学习系列（零）：小样本学习与元学习综述
  • 元学习系列（一）：Siamese Network（孪生网络）1|2|3
  • 元学习系列（二）：Prototypical Networks（原型网络）
  • 元学习系列（三）: Relation Network（关系网络）
  • 元学习系列（四）: Matching Network（匹配网络）
  • 元学习系列（五）: GRU模型
  • 元学习系列（六）: 神经图灵机详细分析
  • 元学习系列（七）: MAML与Meta-SGD
  • 元学习系列（八）: Reptile
• 🐾 PANet

🍃 3D

• 🐾 3D学习路线->3D视觉GitHub
• 🐾 3D图像的表示 -> 3D成像

🍃 Anomaly Detection

• 综述与研究进展

🍬 损失函数：详细见AICore中的loss

🍬 优化器

• 🐾 优化器整理
• 🐾 一阶梯度下降

🍃 BP求导

• 🐾 矩阵向量求导
• 🐾 深度神经网络（DNN）模型与前向/反向传播算法---->DNN - 反向传播算法(特详细)---->手动实现DNN
• 🐾 深度神经网络（CNN）模型与前向/反向传播算法---->CNN-反向传播算法 ---->手动实现CNN

🍬 评价指标

• 🐾 分割评价指标
• 🐾 目标检测评价指标-mAP code

🍬 网络可视化

🍃权重、梯度、特征图可视化

• 🐾 网络中间层显示工具CAM -> blog
• 🐾 模型权重理解DeepDream
• 🐾 网络结构显示工具权重/梯度/特征图/混淆矩阵tensorboard
• 🐾 网络显示工具visdon

🍃网络结构

• 🐾 网络结构显示工具torchsuammary | debug
• 🐾 网络结构显示工具Netron

🍬 梯度消失与爆炸

🍬 Tips

• 🐾 深度学习训练流程
• 🐾 提高性能的4个角度 | 固定种子
• 🐾 混合精度训练 | apex | apex+tensorcore+ngc
• 🐾 TensorCore | DeepLearningExamples NVIDIA-各种加速和demo
• 🐾 学习率调整策略
• 🐾 学习率与batchsize

3⃣️测试模型--train e↔︎test e ↓

🍬 欠拟合&过拟合

4⃣️ 微调/迁移学习

• 🐾 随机网格搜索
• 🐾 超参数优化

5⃣️ 压缩&部署

🍬 压缩

• 🐾 序列化 -{yaml|protobuf|grpc}

🍬 数据后处理

🍬 部署框架

🍃ONNX

• 🐾 ONNX介绍 | ONNX Tutorials| ONNX支持框架有哪些

🍃 TVM

• 🐾 介绍|编译安装|TVM架构设计|TVM部署|TVM原理|TVM源码学习|Relay学习TODO
• 🐾 学习笔记-代码1 | 代码2

🍃TensorRT

• 🐾 了解什么是TensorRT?
• 🐾 案例和讲解（C++）| 入门案例代码解析(python)-1 |(python)-2 | (python)-3
• 🐾 TensorRT8.0API学习

🍬 网站部署-BS

• 🐾 HTTP协议
• 🐾 为什么web会前后端分离？
• 🐾 《REST，GraphQL，Webhooks & gRPC 如何选型》
• 🐾 浅谈 RPC 和 REST: SOAP, gRPC, REST
• 🐾 理解RESTful

🍬 嵌入式设备

• 🐾 Nano
• 🐾 树莓派 : 安装系统

🍬 视频处理与流媒体

🍃 基本概念

• 🐾 协议

• 🐾 视频基本概念与多媒体概念

• 🐾 视频编解码与GPU

🍃 视频编解码学习

🍃 DeepStream

• 🐾 DeepStream介绍