/deep_learning_system

深度学习炼丹笔记，包含深度学习数学基础知识、神经网络基础部件详解、构建 CNN 网络总结，深度学习炼丹策略，以及如何实现深度学习推理框架实战。

Primary LanguagePythonApache License 2.0Apache-2.0

项目概述

本仓库项目是个人总结的深度学习炼丹、优化及部署落地笔记，包含深度学习数学基础知识、深度学习基础知识、神经网络基础部件详解、构建 CNN 网络总结、深度学习炼丹策略、深度学习模型压缩算法、以及深度学习推理框架代码解析及动手实战。

一，数学基础专栏

二，神经网络基础部件

1，神经网络基础部件：

  1. 神经网络基础部件-参数初始化详解
  2. 神经网络基础部件-卷积层详解
  3. 神经网络基础部件-BN 层详解
  4. 神经网络基础部件-激活函数详解
  5. 神经网络基础部件-Transformer 详解

2，深度学习基础：

三，深度学习炼丹

  1. 深度学习炼丹-数据标准化
  2. 深度学习炼丹-数据增强
  3. 深度学习炼丹-不平衡样本的处理
  4. 深度学习炼丹-超参数设定
  5. 深度学习炼丹-正则化策略

四，深度学习模型压缩

  1. 深度学习模型压缩算法综述
  2. 模型压缩-轻量化网络设计与部署总结
  3. 模型压缩-剪枝算法详解
  4. 模型压缩-知识蒸馏详解
  5. 模型压缩-量化算法详解

五，深度学习推理框架

gemm 算法解析与优化、neon、cuda 编程等内容，以及 ncnn 框架代码解析总结。

参考资料