/JNU-NLP

Jnu-nlp research group learning course and path

MIT LicenseMIT

JNU-NLP 学习路径

欢迎你加入到暨南大学NLP课题组的前期培训当中！本次课题组培训周期为xx天，从即日起到xxxx年x月xx日，你将进行如下内容的学习和培训、掌握后续科研工作相关的知识以及技术，并在最终完成学习考核。通过考核的成员将会按照个人兴趣被分配到各个研究课题方向当中，以进行后续的科研工作。

  • 注：以下内容会根据总体和个人的学习进程来进行动态调整（学得快基础好的同学可以自行做进度推进以及安排）

规划：

培训期：

  1. Python、机器学习基础
  2. Pytorch、深度学习基础
  3. NLP通识、进阶项目

项目期：

  1. Linux、shell基础、深度学习服务器使用
  2. 人工智能进阶
  3. 论文阅读，结果复现指南
  4. NLP进阶，经典论文、框架学习
  5. Latex、论文撰写

作业以及Q&A：

每周的作业布置以后，通过github的方式提交到自己的branch，会在3天内完成检查feedback，通过的作业会合并到main brach。Feedback接受和问题讨论会在每个branch的md文件中进行（此文件请一开始就完成创建且与brach的名字保持一致。例：hzj.md）

Q&A：https://calendly.com/zijin_hong/q-a 请把问题在预约前编辑好放在自己的md文件中，然后微信告知已约Q&A

平时有什么小问题也可以直接写好md以后微信提问，不用每次都约qa

这样做的意义是收集大家普遍的问题，做成问题集供大家查漏补缺

周记：

在各位的Brach的Readme中自行完成

学习路径：

7月10日-7月15日

主要目标：

  • 复习Python相关基础

  • 学习机器学习相关理论

  • Markdown书写

学习资料：

  1. Python:
《Python编程，从入门到实践》

自行复习，不做单独培训和教学。在CSDN查询相关资料或是用ChatGPT等AI，都是很好的辅助工具

  1. 机器学习：
B站吴恩达《2022新版机器学习》课程
https://www.bilibili.com/video/BV1CW4y167YW?p=1&vd_source=35d7e3f5be80356297c1d0d50b62d9bc

只需完成这个视频中所涵盖的Course

  1. Markdown
http://t.csdn.cn/YlCvq

边用边学

7月15日-7月29日

主要目标：

  • 学习Pytorch基础
  • 掌握深度学习入门理论

学习资料：

动手学深度学习-PyTorch版
https://zh.d2l.ai/index.html
https://courses.d2l.ai/zh-v2/
https://github.com/d2l-ai/d2l-zh

《动手学深度学习》配套视频
https://space.bilibili.com/1567748478/channel/seriesdetail?sid=358497

时间紧任务重，一定要跟着敲代码，本阶段不涉及作业的完成以及提交。请自觉高效地完成本阶段的培训，有问题请及时约Q&A讨论。

  • 本阶段不要求全部看完，能看多少，多少够用，请结合自身情况

7月29日-8月24日

主要目标：

  • 学习NLP通识

学习资料：

Standford cs224n
https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1214/
https://www.youtube.com/playlist?list=PLoROMvodv4rOSH4v6133s9LFPRHjEmbmJ

【斯坦福CS224N】(2021|中英) 深度自然语言处理 Natural Language Processing with Deep Learning
https://www.bilibili.com/video/BV18Y411p79k?vd_source=cb742f7a83ff2caf532a01a14a45591f

多花点时间，需要完成作业并提交。

作业提交指南

在进行Final Project前请至少完成Standford-cs224n-2021winter课后练习Assignment1-4并上传 在自己的track下面创建对应文件夹，命名为Assignment1-5，将所有完成的材料进行上传（无关部分例如Assignment2中的sgd.py可忽略，只上传工作部分即可）

8月24日-9月1日

主要目标：

  • 完成Final Project，提交Project Proposal

  • 按要求对自己的工作进行Presentation（ASAP）

学习资料：

Project Instruction
https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1214/project/project-proposal-instructions-2021.pdf
https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1214/project/project-milestone-instructions-2021.pdf
https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1214/project/project-summary-instructions-2021.pdf

Default Porject
https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1214/project/default-final-project-handout-robustqa-track.pdf

可做参考

Project主题与相关要求

  • 选题要求：在有效的数据集上完成一个深度学习NLP方向的任务（即选用某个方法完成某个任务）

可选参考方向包括但不仅限于：文本分类，情感分析，命名实体识别，信息抽取，机器翻译，文本生成，问答系统等。

  • 数据集要求：透明、有效、可见。可以不是网络上的公开数据集，但请微信告知负责人保证数据的真实有效

以上方向可选数据集网站：https://paperswithcode.com/datasets

  • Project Proposal：写明任务背景，任务目的，模型细节（包括各部分的模型介绍，具体作用），创新部分（如有）等，能以学术论文形式完成会很加分

行文结构可参考Default Porject

  • Presentation