thinksoso/NLP_ability

总结梳理自然语言处理工程师(NLP)需要积累的各方面知识，包括面试题，各种基础知识，工程能力等等，提升核心竞争力

背景介绍

B站主页-NLP学习之路

建立这个仓库是为了梳理自然语言处理(NLP)各个方面的知识，提升自己的核心竞争力。我觉得NLP是一个值得深耕的领域，所以希望可以不停的提升自己的段位！

**微信公众号：DASOU

深度学习自然语言处理

Transformer

1. 史上最全Transformer面试题
2. 答案解析(1)-史上最全Transformer面试题
3. Pytorch代码分析--如何让Bert在finetune小数据集时更“稳”一点
4. 解决老大难问题-如何一行代码带你随心所欲重新初始化bert的某些参数(附Pytorch代码详细解读)
5. 3分钟从零解读Transformer的Encoder
6. 原版Transformer的位置编码究竟有没有包含相对位置信息
7. BN踩坑记--谈一下Batch Normalization的优缺点和适用场景
8. 谈一下相对位置编码
9. NLP任务中-layer-norm比BatchNorm好在哪里
10. 谈一谈Decoder模块
11. Transformer的并行化
12. Transformer全部文章合辑
13. RNN的梯度消失有什么与众不同的地方.md
14. VIT-如何将Transformer更好的应用到CV领域
15. VIT论文讲解视频代码
16. VIT论文讲解视频PDF

Bert-基本知识

1. FastBERT-CPU推理加速10倍
2. Bert如何融入知识(一)-百度和清华ERINE----百分之五十
3. Bert如何融入知识二-Bert融合知识图谱---百分之十
4. Bert的可视化-Bert每一层都学到了什么---百分之十
5. Bert各种后续预训练模型-预训练模型的改进----百分之十
6. RoBERTa：更多更大更强
7. 为什么Bert做不好无监督语义匹配
8. UniLM:为Bert插上文本生成的翅膀
9. tBERT-BERT融合主题模型做文本匹配
10. XLNET
11. 如何在脱敏数据中使用BERT等预训练模型

Bert-知识蒸馏

1. 什么是知识蒸馏
2. 如何让 TextCNN 逼近 Bert
3. Bert蒸馏到简单网络lstm
4. PKD-Bert基于多层的知识蒸馏方式
5. BERT-of-Theseus-模块压缩交替训练
6. tinybert-全方位蒸馏
7. ALBERT：更小更少但并不快
8. BERT知识蒸馏代码解析-如何写好损失函数

词向量-word embedding

1. 史上最全词向量面试题-Word2vec/fasttext/glove/Elmo

• Word2vec

1. Word2vec两种训练模型详细解读-一个词经过模型训练可以获得几个词向量
2. Word2vec两种优化方式细节详细解读
3. Word2vec-负采样和层序softmax与原模型是否等价
4. Word2vec为何需要二次采样以及相关细节详细解读
5. Word2vec的负采样
6. Word2vec模型究竟是如何获得词向量的
7. Word2vec训练参数的选定
8. CBOW和skip-gram相较而言，彼此相对适合哪些场景.md

• Fasttext/Glove

1. Fasttext详解解读(1)-文本分类
2. Fasttext详解解读(2)-训练词向量
3. GLove细节详细解读

多模态

1. 多模态之ViLBERT：双流网络，各自为王
2. 复盘多模态需要解决的6个问题
3. 如何将多模态数据融入到BERT架构中-多模态BERT的两类预训练任务
4. 层次分类体系的必要性-多模态讲解系列(1)
5. 文本和图像特征表示模块详解-多模态讲解系列(2)
6. 层次体系具体是如何构建的-多模态讲解系列(3) --待更新
7. 多模态中各种Fusion方式汇总

句向量-sentence embedding

1. 句向量模型综述

文本相似度

1. 五千字全面梳理文本相似度/文本匹配模型
2. 如何又好又快的做文本匹配-ESIM模型
3. 阿里RE2-将残差连接和文本匹配模型融合.md
4. 聊一下孪生网络和DSSM的混淆点以及向量召回的一个细节
5. DSSM论文-公司实战文章
6. bert白化简单的梳理:公式推导+PCA&SVD+代码解读
7. SIMCSE论文解析

关键词提取

1. 基于词典的正向/逆向最大匹配
2. 实体库构建：大规模离线新词实体挖掘
3. 聊一聊NLPer如何做关键词抽取

命名体识别

1. 命名体识别资源梳理(代码+博客讲解)

2. HMM/CRF 详细解读

3. 工业级命名体识别的做法

4. 词典匹配+模型预测-实体识别两大法宝

5. autoner+fuzzy-CRF-使用领域词典做命名体识别

6. FLAT-Transformer-词典+Transformer融合词汇信息--公众号

7. TENER-复旦为什么TRM在NER上效果差.md

文本分类

1. TextCNN论文详细解读
2. 只使用标签名称就可以文本分类.md -相应论文在同一个目录
3. 半监督入门**之伪标签
4. ACL2020-多任务负监督方式增加CLS表达差异性
5. Bert在文本分类任务上微调
6. UDA-Unsupervised Data Augmentation for Consistency Training-半监督集大成
7. LCM-缓解标签不独立以及标注错误的问题
8. 关键词信息如何融入到文本分类任务中

机器翻译

1. OpenNMT源代码解读(pytorch版)-baseline操作OpenNMT-py
2. BPE论文解读

Pytorch

1. pytorch对text数据的预处理-综述
2. pytorch处理文本数据代码版本1-处理文本相似度数据
3. pytorch处理文本数据代码版本2-处理文本相似度数据
4. Pytorch中mask attention是如何实现的代码版本1-阅读文本相似度模型的小总结
5. 验证集loss上升，准确率却上升该如何理解？

机器学习

1. 真实场景如何解决类别不平衡的问题
2. 特征工程-数据探索
3. xgboost全面解析
4. xgboost完整训练代码
5. xgboost特征重要程度代码

搜索

1. 各种关于搜索的好文章资源总结-看到比较不错的就放上来---持续更新
2. 什么是倒排索引

推荐系统

1. 聊一下Wide&Deep
2. WDL 在贝壳推荐场景的实践
3. FM模型简单介绍
4. DeepFM模型简单介绍
5. 各种关于推荐的好文章资源总结-看到比较不错的就放上来
6. 度学习在推荐系统中的应用----这个作者写的非常好
7. 推荐系统特征构建
8. 推荐系统特征工程的万字理论
9. 新商品类别embedding如何动态更新-增量更新embedding

公众号技术问题答疑汇总

1. 20201210一周|技术问题答疑汇总

模型部署

算法工程师常说的【处理数据】究竟是在做什么

1.Kafka

2.Docker

3.Elasticsearch

4.Flask+nginx

5. Grpc

6. TensorRT