/cs224n-learning-camp

Primary LanguagePython

深度学习之自然语言处理斯坦福大学CS224n课程集训营

课程资料

  1. 课程主页
  2. 中文笔记
  3. 课程视频
  4. 实验环境推荐使用Linux或者Mac系统，以下环境搭建方法皆适用:
    Docker环境配置
    本地环境配置

重要🔥🔥一些的资源：

  1. Dr.Wu 博客71篇(机器学习、深度学习、强化学习、对抗网络)
  2. Dr.Wu 本人知乎
  3. 深度学习斯坦福教程
  4. 廖雪峰python3教程
  5. github教程
  6. 莫烦机器学习教程
  7. 深度学习经典论文
  8. 斯坦福cs229代码(机器学习算法python徒手实现)
  9. 吴恩达机器学习新书：machine learning yearning
  10. 哈佛大学NLP实验室
  11. 清华大学NLP实验室总结机器阅读论文、数据集
  12. 本人博客(机器学习基础算法专题)
  13. 本人博客(深度学习专题)
  14. 斯坦福cs20I课件
  15. AI比赛经验+开源代码汇总
  16. Deep Learning in Natural Language Processing(微软：邓力博士,清华：刘洋博士)
  17. 机器像人一样交流 (斯坦福: 李纪为博士)

前言

自然语言是人类智慧的结晶，自然语言处理是人工智能中最为困难的问题之一，而对自然语言处理的研究也是充满魅力和挑战的。 通过经典的斯坦福cs224n教程，让我们一起和自然语言处理共舞！也希望大家能够在NLP领域有所成就！

知识要求(学习的过程中可以遇到问题后再复习）

  • 了解python基础知识
  • 了解高等数学、概率论、线性代数知识
  • 了解基础机器学习算法：梯度下降、线性回归、逻辑回归、Softmax、SVM、PAC（先修课程斯坦福cs229 或者周志华西瓜书）
  • 具有英语4级水平（深度学习学习材料、论文基本都是英文，一定要阅读英文原文，进步和提高的速度会加快！！！！）

知识工具

为了让大家逐渐适应英文阅读，复习材料我们有中英两个版本，但是推荐大家读英文

数学工具

斯坦福资料：

中文资料：

编程工具

斯坦福资料：

中文资料：

学习安排

每周具体时间划分为4个部分:

  • 1部分安排周一到周二
  • 2部分安排在周四到周五
  • 3部分安排在周日
  • 4部分作业是本周任何时候空余时间
  • 周日晚上提交作业运行截图
  • 周三、周六休息^_^

作业提交指南：

训练营的作业自检系统已经正式上线啦！只需将作业发送到训练营公共邮箱即可，训练营以打卡为主，不用提交作业。以下为注意事项:
<0> 课程资料：链接 密码：zwjr
<1> 训练营代码公共邮箱：cs224n@163.com
<2> 每周做作业，作业提交时间点：一整个Assignment代码全部完成后再提交
<3> 将每次作业压缩成zip文件，文件名为“NLP学期+学号+作业编号”，例如第二期学员："NLP020037-01.zip"
<4> 注意不要改变作业中的《方法名》《类名》不然会检测失败！！
<5> 查询自己成绩:
 

教程

Week1

  1. 自然语言处理和深度学习简介
  1. 词的向量表示1：
  1. 论文导读：一个简单但很难超越的Sentence Embedding基线方法
  1. 作业：Assignment 1.1-1.2
  • 1.1 Softmax 算法
  • 1.2 Neural Network Basics 神经网络基础实现

Week2

  1. 高级词向量表示：word2vec 2
  1. Word Window分类与神经网络
  1. 论文导读：词语义项的线性代数结构与词义消歧
  1. 作业：Assignment 1.3-1.4
  • 1.3 word2vec 实现
  • 1.4 Sentiment Analysis 情绪分析

Week3

  1. 反向传播与项目指导：Backpropagation and Project Advice
  1. 依赖解析：Dependency Parsing
  1. 论文导读：高效文本分类
  1. 作业: Assignment 2 准备
  • 2.0.1 预习TensorFlow
  • 2.0.2 仔细阅读作业2的要求，自学作业里要求里提到的神经网络训练方法

Week4

  1. TensorFlow入门
  1. RNN和语言模型
  1. 论文导读：词嵌入对传统方法的启发
  1. 作业：Assignment 2.1
  • 2.1 Tensorflow Softmax 基于TensorFlow的softmax分类
  • 2.2 Neural Transition-Based Dependency Parsing 基于神经网络的依赖分析

Week5

  1. 高级LSTM及GRU：LSTM and GRU
  1. 期中复习
  1. 论文导读：基于转移的神经网络句法分析的结构化训练
  1. 作业：Assignment 2.3
  • 2.3 Recurrent Neural Networks: Language Modeling 循环神经网络语言建模

Week6

  1. 机器翻译、序列到序列、注意力模型：Machine Translation, Seq2Seq and Attention
  1. GRU和NMT的进阶
  1. 论文导读：谷歌的多语种神经网络翻译系统
  1. 作业：Assignment 3.1
  • 3.1 A window into named entity recognition（NER）基于窗口模式的名称识别

Week7

  1. 语音识别的end-to-end模型
  1. 卷积神经网络:CNN
  1. 论文导读：读唇术
  1. 作业：Assignment 3.2
  • 3.2 Recurrent neural nets for named entity recognition(NER) 基于RNN的名称识别

Week8

  1. Tree RNN与短语句法分析
  1. 指代消解
  1. 论文导读：谷歌的多语种神经网络翻译系统
  1. 作业：Assignment 3.3
  • 3.3 Grooving with GRUs(（NER）基于GRU的名称识别

Week9

  1. DMN与问答系统
  1. NLP存在的问题与未来的架构
  1. 论文导读：学习代码中的语义
  1. 课程大作业：
    Kaggle：Quora垃圾问题分类

Week10

  1. 挑战深度学习与自然语言处理的极限
  1. 论文导读：neural-turing-machines

3 论文导读： 深度强化学习用于对话生成

Week11

  1. 论文导读：图像对话
  1. 比赛复盘
  2. 课程总结