CS224n-winter-together 计划是由微信公众号**「夕小瑶的卖萌屋」发起的开源课程学习项目,本项目旨在为大家提供一个课程笔记、个人感悟、课程作业与project**的分享交流平台,每个人均可将自己的笔记、感悟、作业等提交到该repo下面对应课程的文件夹底下,来方便大家参考学习。其中,鼓励大家以markdown格式进行提交以免repo大小增长过快。

本项目在2020年斯坦福大学开设的自然语言处理课程CS224n的基础上建立,注意,由于2020年的视频现在没有对外放出,因此视频资料是2019年的(不过连线斯坦福的小伙伴问了一下,区别不大,PPT也更新不大),其他资料均为今年的。

Stanford CS224n官方课程主页:http://web.stanford.edu/class/cs224n

目录结构:

  • Lectures

    • Class 1. Introduction and Word Vectors
      • slides (课件)
      • additional readings(推荐阅读)
      • FAQ(问题总结)
      • notes(笔记) ...
  • Assignments

    • Assignment 1
      • upload(大家上传自己作业的目录) ...

课程计划

微信公众号**「夕小瑶的卖萌屋」**将每周推送两集课程视频(中英双语字幕)和对应的官方ppt/笔记/推荐阅读材料等,并发布课后作业。

  • week1:Introduction and Word Vectors
  • week2:Word Vectors 2 and Word Senses / Word Window Classification and Neural Networks
  • week3:Matrix Calculus and Backpropagation / Linguistic Structure: Dependency Parsing
  • week4:The probability of a sentence? Recurrent Neural Networks and Language Models / Vanishing Gradients and Fancy RNNs
  • week5:Machine Translation, Seq2Seq and Attention / Practical Tips for Final Projects
  • week6:Question Answering and the Default Final Project/ConvNets for NLP
  • week7:Information from parts of words (Subword Models) and Transformer architectures / Contextual Word Representations: BERT
  • week8:Modeling contexts of use: Contextual Representations and Pretraining / Natural Language Generation
  • week9:Reference in Language and Coreference Resolution / Fairness and Inclusion in AI
  • week10:Constituency Parsing and Tree Recursive Neural Networks / Recent Advances in Low Resource Machine Translation
  • week11:Future of NLP + Deep Learning

笔记、感悟和作业贡献流程

1. fork项目

git clone https://github.com/xixiaoyao/CS224n-winter-together.git

2. 在自己的项目里提交笔记和作业到对应课程的指定文件夹。 3. 创建 pull request (pr),添加详细清楚的pr的描述。

详细的可以参考:https://www.jianshu.com/p/b365c743ec8d

课前准备FAQ

  1. 我想看往年的课件和讲义,去哪儿下载?

    答:http://web.stanford.edu/class/cs224n/

  2. 现在的课程视频哪里有?

    答:目前公开的最新视频是2019年的,在youtubeB站上都有。推荐关注微信公众号『夕小瑶的卖萌屋』,我们会每周更新两节课,推送课件和字幕校对后的视频。

  3. 我在学习过程中有一些疑问,怎么办?

    答:建议首先在issues里面搜索相关问题,看看有没有帮助。仍然不能解决的,可以通过微信交流群(推荐)或github issue提出问题,我们会及时解答和归档。每节课归档后的问题集在对应的『问题』目录下面,供大家复习。

  4. 有没有免费的GPU可以用来完成作业?

    答:我们推荐使用AiStudio、Colab和Kaggle Kernel。具体教程可以百度or谷歌一下。