/CS224n-winter-together

Apache License 2.0Apache-2.0

CS224N-winter-together

CS224n-winter-together 计划是由微信公众号**「夕小瑶的卖萌屋」发起的开源课程学习项目，本项目旨在为大家提供一个课程笔记、个人感悟、课程作业与project**的分享交流平台，每个人均可将自己的笔记、感悟、作业等提交到该repo下面对应课程的文件夹底下，来方便大家参考学习。其中，鼓励大家以markdown格式进行提交以免repo大小增长过快。

本项目在2020年斯坦福大学开设的自然语言处理课程CS224n的基础上建立，注意，由于2020年的视频现在没有对外放出，因此视频资料是2019年的（不过连线斯坦福的小伙伴问了一下，区别不大，PPT也更新不大），其他资料均为今年的。

Stanford CS224n官方课程主页：http://web.stanford.edu/class/cs224n

目录结构：

  • Lectures

    • Class 1. Introduction and Word Vectors
      • slides （课件）
      • additional readings（推荐阅读）
      • FAQ（问题总结）
      • notes（笔记） ...

  • Assignments

    • Assignment 1
      • upload（大家上传自己作业的目录） ...

课程计划

微信公众号**「夕小瑶的卖萌屋」**将每周推送两集课程视频（中英双语字幕）和对应的官方ppt/笔记/推荐阅读材料等，并发布课后作业。

  • week1：Introduction and Word Vectors
  • week2：Word Vectors 2 and Word Senses / Word Window Classification and Neural Networks
  • week3：Matrix Calculus and Backpropagation / Linguistic Structure: Dependency Parsing
  • week4：The probability of a sentence? Recurrent Neural Networks and Language Models / Vanishing Gradients and Fancy RNNs
  • week5：Machine Translation, Seq2Seq and Attention / Practical Tips for Final Projects
  • week6：Question Answering and the Default Final Project/ConvNets for NLP
  • week7：Information from parts of words (Subword Models) and Transformer architectures / Contextual Word Representations: BERT
  • week8：Modeling contexts of use: Contextual Representations and Pretraining / Natural Language Generation
  • week9：Reference in Language and Coreference Resolution / Fairness and Inclusion in AI
  • week10：Constituency Parsing and Tree Recursive Neural Networks / Recent Advances in Low Resource Machine Translation
  • week11：Future of NLP + Deep Learning

笔记、感悟和作业贡献流程

1. fork项目

git clone https://github.com/xixiaoyao/CS224n-winter-together.git

2. 在自己的项目里提交笔记和作业到对应课程的指定文件夹。 3. 创建 pull request (pr)，添加详细清楚的pr的描述。

详细的可以参考：https://www.jianshu.com/p/b365c743ec8d 。

课前准备FAQ

  1. 我想看往年的课件和讲义，去哪儿下载？

    答：http://web.stanford.edu/class/cs224n/

  2. 现在的课程视频哪里有？

    答：目前公开的最新视频是2019年的，在youtube和B站上都有。推荐关注微信公众号『夕小瑶的卖萌屋』，我们会每周更新两节课，推送课件和字幕校对后的视频。

  3. 我在学习过程中有一些疑问，怎么办？

    答：建议首先在issues里面搜索相关问题，看看有没有帮助。仍然不能解决的，可以通过微信交流群（推荐）或github issue提出问题，我们会及时解答和归档。每节课归档后的问题集在对应的『问题』目录下面，供大家复习。

  4. 有没有免费的GPU可以用来完成作业？

    答：我们推荐使用AiStudio、Colab和Kaggle Kernel。具体教程可以百度or谷歌一下。