xxzcc/GPU-

A pupil in the computer world.(Felix Fu)

🍭理论篇

1⃣️ 数学

2⃣️ 语言

🍬C++🐾

🍃 编译相关

• 🐾 cpp编译过程
• 🐾 C++静态库与动态库
• 🐾 gcc、cmake | gcc参数选项
• 🐾 makefile手册
• 🐾 why make --> cmake
• 🐾 CMake Tutorial | CMakeLists.txt格式 | CMake官方教程-英文 | CMake手册-别人的blog |CMake Demo Github | Cmake Demo github2
• 🐾 CMake 教程中文版

🍃 C++学习

• 🐾 C++黑马视频--语法为主
• 🐾 侯杰C++学习教程
• 🐾 C++设计模式-代码1 、视频| 代码2
• 🐾 C++并发与多线程--笔记、视频 王建伟|
  • 1、线程C语言-苏丙榅|C++
  • 2、文件描述符
  • 3、线程池C语言|C++ | 自己

🍃 函数/库

• 🐾 atof、...
• 🐾 C++11 std::chrono库详解
• 🐾 详解C++11智能指针
• 🐾 static_cast、dynamic_cast、const_cast和reinterpret_cast
• 🐾 库的导入（系统介绍）
• 🐾 mutable
• 🐾 Lambda
• 🐾 函数指针与指针函数
• 🐾 C\C++中函数后面加const
• 🐾 unique_ptr的使用和陷阱
• 🐾 C++ Vector遍历的几种方式
• 🐾 C++ unordered_map的使用
• 🐾 C++string类如何判断字符串为空
• 🐾 C++中的&和&&
• 🐾 noexcept 运算符
• 🐾 C++ 中的 Lambda 表达式
• 🐾 C++11新特性之十一：emplace
• 🐾 C++ explicit
• 🐾 C++11特性：decltype关键字
• 🐾 how? std::function in C++
• 🐾 C++中的&和&&
• c++11之函数参数包展开
• extern “C”的作用详解
• C++程序利用std::cout打印到日志文件方法
• C/C++ 获取文件夹下所有文件名 windows和linux通用
• std::string 与 char* 之间的转换
• 文件复制和移动| 2|3|4
• 字符串操作|2|3|4|5

🍃 C++工具

• 🐾 VS Code + UML ｜ 类图语法参考
• 🐾 UML类关系

🍃 算法&数据结构

• 🐾 链表：
  • 🐾 反转链表、链表操作、合并链表
• 🐾 堆
  • 🐾 最小K个数
• 🐾 操作
  • 增：
  • 删：
  • 改：
  • 查：
  • 排序

🍬Python🐾

🍃 深度之眼👀

• 🐾 第二章 Python基本语法元素.ipynb
• 🐾 第三章 基本数据类型.ipynb
• 🐾 第四章 组合数据类型.ipynb
• 🐾 第五章 程序控制结构.ipynb
• 🐾 第六章 函数.ipynb
• 🐾 第七章 类——面向对象的编程.ipynb
• 🐾 第八章 文件、异常和模块.ipynb
• 🐾 第九章 有益的探索.ipynb
• 🐾 第十章 Python标准库.ipynb
• 🐾 第十一章 Numpy库.ipynb
• 🐾 第十二章 Pandas 库.ipynb
• 🐾 第十三章 Matplotlib库.ipynb
• 🐾 第十四章 scikit-learn 库.ipynb
• 🐾 第十五章 再谈编程.ipynb

🍃 Numpy

• 🐾 Axis
• 🐾 argmax、...、11个函数
• 🐾 控制流程

🍃 Matplotlib

• 🐾 Matplotlib 唐宇迪
  • Matplotlib基本操作
  • 风格设置
  • 条形图
  • 盒图
  • 直方图and散点图
  • 3D图
  • pie图和子图布局
  • Pandas与sklearn结合实例

🍃 Python函数

• 🐾 Python下划线
• 🐾 查看类型、内存地址、占用空间大小；...;等15个函数
• 🐾 Python 类
• 🐾 pdb调试工具
• 🐾 OS模块
• 🐾 SYS模块
• 🐾 Argparse模块
• 🐾 logging 模块
• 🐾 多进程&多线程 --> 处理库futures
• 🐾 类型转换
• 🐾 collections模块
• 🐾 Map | Reduce
• 🐾 如何计算topk
• 🐾 按比例切分数据集
• 🐾 获取当前文件的路径
• 🐾 Python模块搜索路径
• 🐾 Python glob
• python注册器

🍃 Python封装工具

• 🐾 Python程序封装为exe等
• 🐾 Python程序封装成wheel、setuptools
• 🐾 Python pybind11

🍃 Python GUI

• 🐾 QT5

🍃 Python 报错&库学习

• 🐾 docker容器python中文乱码
• list 排列组合
• Python中下划线的5种含义
• numpy: np.logical_and/or/not (逻辑与/或/非)
• np.where
• np.vstack, np.hstack
• Opencv实现多幅图像显示在同一窗口（基于Python）
• opencv读中文图片
• pytorch计算余弦相似度
• (torch.full()、torch.full_like())创造全value的矩阵
• torch.cat 和 torch.stack的区别
• ToTensor 到底做了什么？
• named_children()和named_modules()的区别
• transforms的二十二个方法
• pytorch手动实现滑动窗口操作，论fold和unfold函数的使用 | 2
• Pytorch中index_select() 函数的理解
• pytorch:torch.clamp()
• torch.nonzero的理解
• Pytorch中index_select() 函数的理解
• PIL读入图片转为BGR
• np.random.randint、np.random.choice、random.sample三种随机函数的用法案例
• Python——自定义排序 sort() / list.sort()
• 如何直观地理解「协方差矩阵」？
• pprint的用法
• python dir()和vars()的区别
• Python装饰器abstractmethod、property、classmethod、staticmethod及自定义装饰器
• python 获取当前日期的前n天或后n天
• Python计数器collections.Counter用法详解
• python读写json文件
• python限定方法参数类型、返回值类型、变量类型等
• 【python】错误解决经历 |2

🍬Linux

• 🐾 ubuntu后台运行程序
• 🐾 Windows路由表详解

🍬Git

• 🐾 GitHub不再支持密码验证解决方案：SSH免密与Token登录配置

🍭环境篇

1⃣️ GPUs

🍬 GPU知识

• 🐾 深入GPU硬件架构及运行机制
• 🐾 gpustat
• 🐾 nvidia-smi命令
• 🐾 NUMA & GPU
• 🐾 GPU Direct
• 🐾 GPU-Driver-Cuda- pytorch-tensorflow 对应关系
• 🐾 CUDA Samples
• 🐾 cuda和cudatoolkit
• 🐾 windows下同一个显卡配置多个CUDA工具包以及它们之间的切换
• 🐾 Linux 和 Windows 查看 CUDA 和 cuDNN 版本

🍬 GPUs训练环境安装

• 🐾 Driver安装 Ubuntu16.04 -------> CUDA、cuDNN安装 Ubuntu16.04 | Windows10--> Docker-->NVDocker

• 🐾 Horovod安装--见pytorch分布式小节

• 🐾 TensorRT Ubuntu -- Windows10

2⃣️ Pytorch

🍬Pytorch分布式🐾

• 🐾 分布式概念介绍-MPI
• 🐾 GPU&CUDA多机通信-硬件、库、框架三个层次 | 学习代码-需整理 | distributed + apex - 需整理

🍃 Horovod搭建过程

• 🐾 整体日志

• 🐾 IPMI配置

• 🐾 Ubuntu16.04 Server安装

• 🐾 Ubuntu16.04 配置IP

• 🐾 Ubuntu16.04 修改APT源

• 🐾 Ubuntu16.04 安装NVIDIA驱动 【一、安装440版本，可根据需求调换版本】

• 🐾 Ubuntu16.04 安装CUDA，cuDNN【二、安装cuda10.2 和cudnn7.6.5，可根据需求调换版本】

• 🐾 Ubuntu16.04安装nccl & 测试【三、安装nccl 2.6.4，可根据需求调换版本，apt-cache madison】

• 🐾 Pytorch多机多卡【四、测试多机多卡，先测试无RDMA的。需安装torch 1.2 torchvision0.4.0】

• 🐾 装安IB驱动【五、装IB，加速IB卡之间的RDMA】

• 🐾 Pytorch多机多卡【六、再次跑多机多卡程序，与四的效果对比】

• 🐾 安装NV_Peer_Memory【七、安装nv_peer_memory, 加速GPURDMA】

• 🐾 Pytorch多机多卡【八、再次跑多机多卡程序与四、六对比】

• 🐾 安装OpenMPI【九、安装OpenMPI，为Horovod做准备】

• 🐾 安装Horovod【十、安装Horovod，并测试程序，与四、六、八对比】

• 🐾 Ubuntu16.04 安装Docker【十一、安装Docker】

• 🐾 Ubuntu16.04 安装NVIDIA Docker【十二、安装NV-Docker】

• 🐾 在Docker中运行Horovod【十三、在Docker中运行Horovod】

🍬Pytorch1.4学习📒

🍬Pytorch函数学习

• 🐾 clone、detached、copy
• 🐾 expand & repeat
• 🐾 cat & stack
• 🐾 transpose & permute
• 🐾 contiguous
• 🐾 squeeze & unsqueeze
• 🐾 max, argmax, size, clamp, sum, topk
• 🐾 train、eval
• 🐾 权重加载修改名称
• 🐾 上采样：interpolate、PixelShuffle
• 🐾 scatter

3⃣️ 工具

🍬 图像预处理

• 🐾 图像标注工具labelme
• 🐾 图像去重工具imagededup
• 🐾 图像增强工具imgaug

🍬 实验工具

• 🐾 实验管理工具sacred
• 🐾 bypy 百度云下载python
• 🐾 Python日志库loguru
• 字典2dot--dotmap

🍬 IDE&Tools安装

• 🐾 JupyterLab安装 Ubuntu
• 🐾 Matlab安装 Ubuntu
• 🐾 xrdp Ubuntu
• 🐾 VS2019 Windows
  • VS之调试断点无效
• 🐾 CLion 安装与调试 Mac
• 🐾 cmake 安装
• 🐾 pycuda安装
• 🐾 OpenCV GPU-Ubuntu -- CPU-Ubuntu
• 🐾 VS Code 使用笔记
• 🐾 Pycharm手册
• 🐾 Conda
  • conda 安装报错 specified in the package manifest cannot be found.
  • 修改conda环境和缓存默认路径
  • Anaconda 换源更改镜像，删源
  • conda常用命令

🍬 推理环境安装

4⃣️ OpenCV

• 🐾 Python 读取视频
• 🐾 C++ Opencv学习笔记
• 🐾 opencv中CPU指令集优化、GPU
• 🐾 Opencv GPU系列笔记 CSDN
• 🐾 opencv 找不到opencv_world320.dll解决办法
• 🐾 split函数提取多通道图像的单通道图像
• 🐾 cv::Vec3d
• 🐾 OpenCV的jpg到ppm图片格式转换
• 🐾 BMP与PPM格式的转换
• Opencv Mat::data
• Opencv Mat构造函数

🍭训练篇&部署篇

1⃣️ 检查数据

2⃣️训练模型--train e ↓

🍬数据预处理

🍃 数据集介绍

• 🐾 VOC
• 🐾 COCO
• 🐾 Cityscapaces

🍃 特征缩放🐾

🍃 Pytorch数据读取

• 🐾 加速训练 —提高 GPU 利用率
• 🐾 加速训练—节约显存

🍃 Python读取图片

• 🐾 计算图片均值
• 🐾 opencv读取数据--segmentation fault
• 🐾 直方图处理
• 🐾 python读取图片的几种方式

🍬 网络模型

🍃 机器学习

• 🐾 最小二乘法
• 🐾 kmeans
• 分类和回归的区别

🍃 NN

• 🐾 NN发展史
• 🐾 45分钟理解深度神经网络和深度学习-拟合角度
• 🐾 零基础入门深度学习- 感知器-线性单元和梯度下降-神经网络和反向传播算法-卷积神经网络-循环神经网络-长短时记忆网络(LSTM)-递归神经网络

🍃CNN

• 🐾 CNN介绍 --🐾CNN网络代码讲解加部署 ⭐
• 🐾 LeNet, AlexNet, VGG
• 🐾 DSC理解
• 🐾 Inception
• 🐾 ResNet
• 🐾 DenseNet
• 🐾 MobileNet
• 🐾 SENet
• EfficientNet 🐾
• 🐾 conv 1* 1的作用
• 🐾 上采样

🍃RNN/NLP

• RNN/LSTM/GRU

• Attention&Transformer

• Bert

🍃GAN

• 🐾 入门介绍 | GAN综述2019
• 🐾 GAN ZOO | ZOO for beginner | StyleGAN-Zoo
• 🐾 GAN学习路线笔记
  • GAN(生成对抗网络):笔记 | 入门CODE
  • DCGAN(深度卷积生成对抗网络): 原理同GAN相同，只是全连接神经网络换成Deep Conv | 入门CODE
  • CGAN(条件生成对抗网络): 笔记 | 入门CODE
  • CycleGAN
  • CoGAN：耦合生成对抗网络
  • ProGAN：生成对抗网络的渐进式增长
  • WGAN(Wasserstein 生成对抗网络): 笔记| 入门CODE
  • SAGAN：自注意力生成对抗网络
  • BigGAN：大生成对抗性网络
  • StyleGAN：基于风格的生成对抗网络
• GAN Pytorch实现

🍃Detection

• 🐾 RCNNs
• 🐾 YOLO
  • yolo v1
  • yolo v2
  • yolo v3
  • yolo v4
  • Yolox | Github

🍃Segmentation

• 🐾 分割综述(2020)
• 🐾 UNet Family
  • unet
  • UNet++
• 🐾 PSPNet
• 🐾 DUC & HDC

🍃 IQA

• 🐾 HyperNet

🍃 FSL(小样本)

• 🐾 入门学习视频 ｜ PPT
• 🐾 小样本与元学习
• 🐾 综述---《Generalizing from a Few Examples: A Survey on Few-Shot Learning》学习|小样本论文收集-GitHub |视频
• 🐾 元学习的方法实现小样本分类
• 🐾 meta-learning系列
  • 元学习系列（零）：小样本学习与元学习综述
  • 元学习系列（一）：Siamese Network（孪生网络）1|2|3
  • 元学习系列（二）：Prototypical Networks（原型网络）
  • 元学习系列（三）: Relation Network（关系网络）
  • 元学习系列（四）: Matching Network（匹配网络）
  • 元学习系列（五）: GRU模型
  • 元学习系列（六）: 神经图灵机详细分析
  • 元学习系列（七）: MAML与Meta-SGD
  • 元学习系列（八）: Reptile
• 🐾 PANet

🍃 3D

• 3D学习路线-1、2
• 3D图像的表示-1 、2、3
• 3D成像-1、2
• 3D历史-1、
• PointNet 视频B站

🍃 Anomaly Detection

• 综述与研究进展--1
  • CFLOW-AD: Real-Time Unsupervised Anomaly Detection with Localization via Conditional Normalizing Flows
  • PaDiM

🍬 损失函数

• 距离计算方法总结 (2022-01-06)

• 🐾 交叉墒

• 🐾 Pytorch的损失函数

• 三个相关系数

• 机器学习-距离度量|2

• 方差|2|3|4|5

• Lovasz-Softmax Loss

• Exponential Logarithmic loss

• Focal Loss + Dice Loss

• BCE + Dice Loss

• Generalized Dice loss

• Tversky Loss

• IOU Loss

• Dice Loss

• Focal Loss

🍬 优化器

• 🐾 优化器整理
• 🐾 一阶梯度下降

🍃 BP求导

• 🐾 矩阵向量求导
• 🐾 深度神经网络（DNN）模型与前向/反向传播算法---->DNN - 反向传播算法(特详细)---->手动实现DNN
• 🐾 深度神经网络（CNN）模型与前向/反向传播算法---->CNN-反向传播算法 ---->手动实现CNN

🍬 评价指标

• 🐾 语义分割评价指标
• 🐾 mAP code
• 🐾 IOU

🍬 网络可视化

🍃权重、梯度、特征图可视化

• 🐾 网络中间层显示工具CAM 🐾 blog
• 🐾 模型权重理解DeepDream
• 🐾 网络结构显示工具权重/梯度/特征图/混淆矩阵tensorboard
• 🐾 网络显示工具visdon

🍃网络结构

• 🐾 网络结构显示工具torchsuammary 🐾 debug
• 🐾 网络结构显示工具Netron

🍬 梯度消失与爆炸/欠拟合🐾

1. 预训练加微调
2. 🐾 权重初始化
3. 🐾 梯度剪切、权重正则（针对梯度爆炸）
4. 🐾 使用不同的激活函数
5. 🐾 使用batchnorm
6. 🐾 使用残差结构
7. 🐾 使用LSTM网络

🍬 Tips

• 🐾 深度学习训练流程
• 🐾 提高性能的4个角度
• 🐾 固定种子
• 🐾 混合精度训练, 🐾 apex 🐾 apex+tensorcore+ngc
• 🐾 TensorCore
• 🐾 DeepLearningExamples NVIDIA-各种加速和demo
• 🐾 学习率调整策略
• 🐾 学习率与batchsize

3⃣️测试模型--train e↔︎test e ↓

🍬 过拟合🐾

• 🐾 正则化
• 🐾 early stop
• 🐾 数据增强
• 🐾 dropout
• ...

4⃣️ 微调/迁移学习

• 🐾 随机网格搜索
• 🐾 超参数优化

5⃣️ 压缩&部署

🍬 压缩

• 🐾 序列化
  • yaml
  • protobuf
  • grpc

🍬 数据后处理

🍬 部署框架 🐾

🍃ONNX

• 🐾 ONNX介绍
• 🐾 ONNX API Python | ONNX Tutorials
• 🐾 ONNX支持框架有哪些

🍃 TVM

• 介绍
• 编译安装
• TVM架构设计
• TVM部署
• TVM原理
• TVM源码学习
• Relay学习TODO
• 学习笔记-代码 | Github | [DockerHub:dockerhub:docker pull fusimeng/project:tvm-deploy-cpp]

🍃TensorRT

• 了解什么是TensorRT?
• 案例和讲解（C++）
• 使用TensorRT遇到的问题
• 入门案例代码解析(python)
• 自己收集的案例1(python) | 2(python)
• TensorRT8.0API学习

🍬 网站部署-BS

• 🐾 HTTP协议
• 🐾 为什么web会前后端分离？
• 🐾 《REST，GraphQL，Webhooks & gRPC 如何选型》
• 🐾 浅谈 RPC 和 REST: SOAP, gRPC, REST
• 🐾 理解RESTful

🍬 嵌入式设备

• 🐾 Nano
• 🐾 树莓派
  • 安装系统

🍬 视频处理与流媒体

• 协议

🍃 基本概念

• 视频基本概念与多媒体概念
• 视频编解码与GPU

🍃 视频编解码理论基础

• 第一章 介绍
• 第二章 数字视频
• 第三章 信息论基础
• 第四章 视频编解码理论基础

🍃 信息论与编码基础（雷菁）

• 第一章 绪论
• 第二章 离散信源
• 第三章 离散信道

DeepStream

• DeepStream介绍

🍭项目篇

项目结构

1、config.json格式：参考segmentation

2、scared格式：参考PANet

3、Exp自定义格式：参考YoloX

1⃣️ 分类/Classification

• 🐾 classification
• 🐾 classification

2⃣️ 语义分割/Segmentation

• 🐾 segmentation

3⃣️ 目标检测/Detection

• 🐾 Yolo v1 | notes
• 🐾 Yolo v2 | notes
• 🐾 Yolo v3 | notes
• 🐾 Yolo v4 | Yolov4 | notes
• 🐾 YoloX | notes

4⃣️ 小样本/Few Shot Learning

• 🐾 PANet-🐙 📒

5⃣️ 图像质量评价/Image Quality Assessment

• 🐾 hyperIQA-🐙| 🐙-v2回归 V2-分类|📒

5⃣️ 异常检测/Anomaly Detection

• 🐾 PaDiM Anomaly Detection | notes
• 🐾 SPADE
• 🐾 PaDim & PatchCore

5⃣️ 图像生成/Image Generative

5⃣️ 部署

• 🐾 onnxruntime, tensorrt, tvm, ...

🍭书签

• 200+本计算机书籍
• CUDA
• TRT
• CVPR

Language

C++

• C++中文网

• C++ reference - cppreference.com

• Boost C++

• cplusplus

• C++官方

• GCC参数

Python

• Python教程|2

• Python官方

• PYPI

• PyGObject

• GTK+

• pycuda

• pandas中文教程

• numpy | 2

• matplotlib|2

• scikit-image

其他

• git | 2

读图

• 数字图像处理

• Opencv-python教程

• Opencv-c++ |2 |3

• Pillow

• https://pycharm.iswbm.com/