背景介绍
建立这个仓库是为了梳理自然语言处理(NLP)各个方面的知识,提升自己的核心竞争力。我觉得NLP是一个值得深耕的领域,所以希望可以不停的提升自己的段位!
微信公众号:NLP从入门到放弃
深度学习自然语言处理
Transformer
Transformer 相关知识 | 进度 |
---|---|
史上最全Transformer面试题 | 已完成并上传 |
答案解析(1)-史上最全Transformer面试题 | 已经完成并上传 |
Pytorch代码分析--如何让Bert在finetune小数据集时更“稳”一点 | 已经完成并上传 |
解决老大难问题-如何一行代码带你随心所欲重新初始化bert的某些参数(附Pytorch代码详细解读) | 已经完成并上传 |
3分钟从零解读Transformer的Encoder | 已经完成并上传 |
原版Transformer的位置编码究竟有没有包含相对位置信息 | 已经完成并上传 |
BN踩坑记--谈一下Batch Normalization的优缺点和适用场景 | 已经完成并上传 |
谈一下相对位置编码 | 已经完成并上传 |
NLP任务中-layer-norm比BatchNorm好在哪里 | 已经完成并上传 |
谈一谈Decoder模块 | 已经完成并上传 |
Transformer的并行化 | 已经完成并上传 |
Transformer全部文章合辑 | 已经完成并上传 |
Bert-基本知识
Bert 相关知识 | 进度 |
---|---|
FastBERT-CPU推理加速10倍 | 已经完成并上传 |
Bert如何融入知识(一)-百度和清华ERINE | 百分之五十 |
Bert如何融入知识二-Bert融合知识图谱 | 百分之十 |
Bert的可视化-Bert每一层都学到了什么 | 百分之十 |
Bert各种后续预训练模型-预训练模型的改进 | 百分之十 |
Bert-知识蒸馏
模型蒸馏相关知识 | 进度 |
---|---|
什么是知识蒸馏 | 已经完成 |
如何让 TextCNN 逼近 Bert | 已经完成 |
Bert蒸馏到简单网络lstm | 已经完成 |
词向量-word embedding
词向量面试题梳理 | 进度 |
---|---|
史上最全词向量面试题-Word2vec/fasttext/glove/Elmo | 已经完成并上传 |
- Word2vec
Word2vec相关知识 | 进度 |
---|---|
Word2vec两种训练模型详细解读-一个词经过模型训练可以获得几个词向量 | 已经完成并上传 |
Word2vec两种优化方式细节详细解读 | 已经完成并上传 |
Word2vec-负采样和层序softmax与原模型是否等价 | 已经完成并上传 |
Word2vec为何需要二次采样以及相关细节详细解读 | 已经完成并上传 |
Word2vec的负采样 | 已经完成并上传 |
Word2vec模型究竟是如何获得词向量的 | 已经完成并上传 |
Word2vec训练参数的选定 | 已经完成并上传 |
CBOW和skip-gram相较而言,彼此相对适合哪些场景.md | 已经完成并上传 |
- Fasttext/Glove
Fasttext相关知识 | 进度 |
---|---|
Fasttext详解解读(1)-文本分类 | 已经完成并上传 |
Fasttext详解解读(2)-训练词向量 | 已经完成并上传 |
GLove细节详细解读 | 已经完成并上传 |
Fasttext源码详细解读(C++版) |
句向量-sentence embedding
句向量模型相关知识 | 进度 |
---|---|
句向量模型综述 | 已经上传 |
文本相似度
文本相似度 相关知识 | 进度 |
---|---|
五千字全面数据文本相似度/文本匹配模型 | 已经完成并上传 |
关键词提取
关键词提取相关知识 | 进度 |
---|---|
基于词典的正向/逆向最大匹配 | 已经上传 |
实体库构建:大规模离线新词实体挖掘 | 已经上传 |
聊一聊NLPer如何做关键词抽取 | 已经上传 |
命名体识别
命名体识别相关资源 | 进度 |
---|---|
命名体识别资源梳理(代码+博客讲解) | 已经上传 |
HMM/CRF 详细解读 | 已经上传 |
工业级命名体识别的做法 | 已经上传 |
词典匹配+模型预测-实体识别两大法宝 | 已经上传 |
手撕BiLSTM-CRF代码 | |
少样本命名体识别 | |
命名体识别12法则-娄杰知乎-写的很好-实战总结 | |
命名体识别最新进展 |
文本分类
文本分类相关知识 | 进度 |
---|---|
TextCNN论文详细解读 | 已经上传 |
手撕 TextCNN/Fasttext/Albert 文本分类 | |
TextCNN/Fasttext/Albert 实际工作应用经验 | |
多标签文本分类 | |
文本分类各种优化策略和方法 |
机器翻译
机器翻译相关知识 | 进度 |
---|---|
OpenNMT源代码解读(pytorch版)-baseline操作OpenNMT-py | 已经完成并上传 |
BPE论文解读 | 已经上传 |
手撕Seq2seq-attention机器翻译代码 | |
基于seq2seq机器翻译的各种优化策略解读 | |
ConS2S论文详细解读 | |
GNMT论文详细解读 | |
Seq2seq过程图画版详细解读 |
多模态
多模态相关知识汇总 | 进度 |
---|---|
层次分类体系的必要性-多模态讲解系列(1) | 完成 |
文本和图像特征表示模块详解-多模态讲解系列(2) | 完成 |
层次体系具体是如何构建的-多模态讲解系列(3) | 待完成 |
Pytorch
Pytorch技巧 | |
---|---|
pytorch对text数据的预处理-综述 | 已经上传 |
pytorch处理文本数据代码版本1-处理文本相似度数据 | 已经上传 |
pytorch处理文本数据代码版本2-处理文本相似度数据 | 已经上传 |
Pytorch中mask attention是如何实现的代码版本1-阅读文本相似度模型的小总结 |
Pytorch调参总结 | |
---|---|
验证集loss上升,准确率却上升该如何理解? | |
机器学习
机器学习相关知识 | 进度 |
---|---|
真实场景如何解决类别不平衡的问题 | 已经完成 |
特征工程-数据探索 | 已经完成 |
xgboost全面解析 | 已经完成 |
xgboost完整训练代码 | 已经完成 |
xgboost特征重要程度代码 | 已经完成 |
搜索
搜索相关知识 | 进度 |
---|---|
各种关于搜索的好文章资源总结-看到比较不错的就放上来 | 持续更新 |
什么是倒排索引 | 已经完成 |
推荐系统
推荐系统相关知识 | 进度 |
---|---|
聊一下Wide&Deep | 已经完成 |
FM模型简单介绍 | 已经完成 |
DeepFM模型简单介绍 | 已经完成 |
各种关于推荐的好文章资源总结-看到比较不错的就放上来 | |
度学习在推荐系统中的应用 | 这个作者写的非常好 |
推荐系统特征构建 | |
推荐系统特征工程的万字理论 | |
新商品类别embedding如何动态更新-增量更新embedding |