jamesguo/machine-learning-notes

This is the notes of the way of machine learning study. You may find something useful in it.

=>点此阅读<=

• 任务清单
• 收集的各种资料
• 有用的工具

目录

机器学习算法地图

前言

• 个人前言
• 机器学习前言
  • 什么是机器学习和模式识别
  • 机器学习的应用
  • 机器学习的流程
  • 不同机器学习算法预测效果不同
  • 快速入门机器学习
  • 机器学习需要参考哪些书
  • 机器学习的学习路径
  • 深度学习的学习路径
  • 互联网机器学习特定岗位所需技能
• 机器学习面试

数学基础

• 微积分
  • 泰勒展开
  • e的直观认识
  • 傅里叶变换
  • 希尔伯特空间
  • 卷积
• 线性代数
  • 范数
  • 矩阵求导
  • 特征值
  • SVD奇异值分解
• 概率统计和信息论
  • 概率统计基本概念
  • 协方差矩阵
  • 概率论与贝叶斯先验
  • 贝叶斯概率
  • 概率分布
    • 正态分布
    • 贝塔分布
  • 共轭先验
  • 信息论
• 数值计算与优化
  • 最小二乘法
  • 等式约束的拉格朗日乘子法
  • 凸优化
    • 凸集和凸函数
    • 凸优化问题
• 梯度更新算法
  • 离线学习
    • 梯度下降算法的演化
    • 随机梯度下降SGD
    • 动量法Momentum
    • 牛顿动量Nesterov
    • AdaGrad
    • RMSprop
    • Adadelta
    • Adam
    • Nadam
    • AMSGrad
    • AdasMax
  • 在线学习
    • FTRL

编程基础

• 计算机科目
• linux
  • linux常用命令
  • shell
    • 输入输出重定向
• python
  • python简介
  • python语法
    • 基础语法
    • 数据结构
    • 过程控制
    • 函数
    • 类和对象
    • 文件操作
    • 正则表达式
  • python知识点
  • python库
    • numpy
    • pandas
    • scipy
    • matplotlib
    • scikit-learn
  • python应用
    • 排序算法
  • cython
• 数据结构与算法
  • 数据结构
  • 算法**
    • 排序
      • 堆排序
      • 归并排序
      • 快速排序
    • 递归
  • 剑指offer
    • 链表
    • 二叉树
    • 数组
    • 字符串
    • 栈和队列
    • 递归和回溯法
    • 动态规划
    • 其他
  • leetcode
  • 编程语言
    • c++
• Hadoop
  • Hadoop简介
  • MapReduce
  • Hive
• Spark
• Anaconda
• TensorFlow
  • TensorFlow1.0
    • TensorFlow基础
    • TensorFlow基础概念解析
    • TensorFlow机器学习基础
    • Tensorflow分布式架构
  • TensorFlow2.0
    • TensorFlow2.0基础
    • TensorFlow2.0安装
    • keras
  • TensorFlow Serving
  • 工具
    • Tensorflow中使用GPU
• PyTorch
• DarkNet

机器学习

• 机器学习概论
• 特征工程
• 感知机
• k近邻
• 朴素贝叶斯
• 线性模型
  • 最大熵模型
  • 指数族分布与广义线性模型
  • 线性回归
  • Logistic回归
• 决策树
• 支持向量机
  • 线性可分支持向量机与硬间隔最大化
  • 线性支持向量机与软间隔最大化
  • 非线性支持向量机与核函数
  • 序列最小最优化算法SMO
  • SVM总结
• liblinear
• 集成学习
  • 集成学习概述
  • Bagging
    • 随机森林
  • Boosting
    • AdaBoost
    • GradientBoosting
      • GBDT
      • XGBoost
        • XGBoost理论
        • XGBoost实践
      • LightGBM
  • Stacking
• 降维
  • 降维概述
  • PCA主成分分析
  • 流形学习
• EM算法
• 概率图模型
  • 概率图模型简介
  • 概率图简介
• HMM隐马尔科夫模型
• CRF条件随机场
• 聚类
  • k均值聚类
  • 高斯混合模型
  • DPMM狄利克雷过程混合模型
• 主题模型
  • LDA隐狄利克雷分布
• 知识点
  • 损失函数
  • 负采样
• 机器学习算法总结

深度学习

• 深度学习概论
• ANN人工神经网络
• 知识点
  • 激活函数
  • 深度学习中的正则化
    • Batch Normalization
    • Layer Normalization
  • 深度学习的高阶特征交叉原理
  • 梯度爆炸与梯度消失
• CNN卷积神经网络
  • CNN卷积神经网络
  • TextCNN: Convolutional Neural Networks for Sentence Classification EMNLP2014
• RNN循环神经网络
• LSTM长短期记忆网络
  • LSTM长短期记忆网络
  • pix2code: Generating Code from a Graphical User Interface Screenshot EICS2018
• GRU门控循环单元
• GNN图神经网络
  • GNN图神经网络综述
  • GCN图卷积网络
    • GCN图卷积网络初步理解
    • GCN图卷积网络的numpy简单实现
    • GCN图卷积网络本质理解
    • GCN图卷积网络全面理解
    • Semi-Supervised-Classification-With-Graph-Convolutional-Networks ICLR2017
• GAN生成对抗网络

强化学习

• 强化学习概论
• 多臂赌博机及其解法
• 马尔科夫决策过程
• 动态规划
• 无模型方法一：蒙特卡洛
• 无模型方法二：时间差分
• 无模型方法三：多步自举
• 函数近似和深度网络
• 策略梯度算法
• 深度强化学习
• 基于模型的强化学习
• MCTS蒙特卡洛树搜索
  • MCTS蒙特卡洛树搜索
• 强化学习前景
• 强化学习论文
  • DDPG: Continuous Control With Deep Reinforcement Learning ICLR2016
• 多智能体强化学习论文
  • mean-field: Mean Field Multi-Agent Reinforcement Learning ICML2018

自然语言处理

• 自然语言处理概论
• 自然语言
• 语言模型和中文分词
• TF-IDF词频-逆文档频率
• word2vec
• Seq2Seq模型和Attention机制
• Self-Attention和Transformer
  • Transformer: Attention Is All You Need NIPS2017
  • Transformer模型tensorflow2.0官网demo代码解读
  • Transformer的细节问题
• BERT

AutoML

• AutoML介绍
• 自动数据清理AutoClean
• 自动特征工程AutoFE
• 超参数优化HPO
• 元学习MetaLearning
• 神经网络架构搜索NAS
  • Weight-Agnostic-Neural-Networks Google2019

知识图谱

推荐系统

• 推荐系统概述
• 基础知识
  • 协同过滤
  • 用户画像
• 进阶知识
  • 排序模型概述
  • 召回模型概述
  • 机器学习
    • FM: Factorization Machines ICDM2010
  • Graph Embedding
    • 图表征概述
    • LINE: Large-scale Information Network Embedding ACM2015
  • 深度学习
    • DeepFM: A Factorization-Machine based Neural Network for CTR Prediction 2017
    • DSSM: Learning Deep Structured Semantic Models for Web Search using Clickthrough Data CIKM2013
  • 图卷积网络
    • Graph Convolutional Neural Networks for Web-Scale Recommender Systems KDD2018
  • 强化学习
    • DRN: A Deep Reinforcement Learning Framework for News Recommendation WWW2018
• 业界应用
  • YouTube
    • YouTubeDNN: Deep Neural Networks for YouTube Recommendations RecSys2016
  • Facebook
    • XGB+LR: Practical Lessons from Predicting Clicks on Ads at Facebook KDD2014
  • Alibaba
    • TDM: Learning Tree-based Deep Model for Recommender Systems KDD2018
    • DIN: Deep Interest Network for Click-Through Rate Prediction KDD2018
    • DSIN: Deep Session Interest Network for Click-Through Rate Prediction IJCAI2019
    • ESMM: Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate SIGIR2018
  • Google
    • MMoE: Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts KDD2018

计算机视觉

• YOLO
  • YOLO原理
  • YOLO_Mark
  • DarkNet深度学习框架

异常检测

反绎学习