/tech_blog

技术文章和博客

深度学习技术博客和技术文章收集

词向量

  1. 从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史 https://zhuanlan.zhihu.com/p/49271699
  2. transformer原理讲解 https://jalammar.github.io/illustrated-transformer/
  3. 前沿综述：细数2018年最好的词嵌入和句嵌入技术 https://zhuanlan.zhihu.com/p/37869959
  4. 放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较 https://mp.weixin.qq.com/s/T3XjEir63GlasbXDPK2YUQ
  5. The Annotated Transformer http://nlp.seas.harvard.edu/2018/04/03/attention.html
  6. BERT大火却不懂Transformer？读这一篇就够了 https://zhuanlan.zhihu.com/p/54356280
  7. Serving Google BERT in Production using Tensorflow and ZeroMQ https://hanxiao.github.io/2019/01/02/Serving-Google-BERT-in-Production-using-Tensorflow-and-ZeroMQ/
  8. Improving Language Understanding with Unsupervised Learning https://blog.openai.com/language-unsupervised/
  9. GLUE排行榜上全面超越BERT的模型近日公布了！ https://zhuanlan.zhihu.com/p/56640922
  10. 词向量经典模型：从word2vec、glove、ELMo到BERT https://zhuanlan.zhihu.com/p/51682879

广告点击率

  1. 重磅！阿里妈妈首次公开自研CTR预估核心算法MLR https://mp.weixin.qq.com/s/MtnHYmPVoDAid9SNHnlzUw
  2. 镶嵌在互联网技术上的明珠：漫谈深度学习时代点击率预估技术进展 https://zhuanlan.zhihu.com/p/54822778
  3. 基于深度学习的广告CTR预估算法 https://zhuanlan.zhihu.com/p/34940250
  4. 推荐系统中的注意力机制——阿里深度兴趣网络（DIN） https://zhuanlan.zhihu.com/p/51623339
  5. 详解阿里之Deep Interest Evolution Network(AAAI 2019) https://zhuanlan.zhihu.com/p/50758485
  6. CVR预估的新思路：完整空间多任务模型 https://zhuanlan.zhihu.com/p/37562283
  7. 解构阿里深度兴趣网络（DIN）：如何将注意力机制引入推荐系统？ https://mp.weixin.qq.com/s/-EDxUwAKdXnmUKeLJTiAUw
  8. CTR论文 https://github.com/wzhe06/Ad-papers

知识图谱

  1. 一文揭秘！自底向上构建知识图谱全过 https://mp.weixin.qq.com/s/lBeV6XWzk5bqNGiIMok-zw
  2. 项目实战：如何构建知识图谱 https://zhuanlan.zhihu.com/p/29332977
  3. 知识图谱数据构建的“硬骨头”，阿里工程师如何拿下 https://zhuanlan.zhihu.com/p/43899340
  4. 自底向上——知识图谱构建技术初探 https://m.aliyun.com/yunqi/articles/603347?utm_content=m_1000004547&from=timeline
  5. 复旦大学肖仰华：领域知识图谱落地实践中的问题与对策 https://mp.weixin.qq.com/s/XTJ0t39SbeIDXtseCUcDBA
  6. 知识图谱之社交网络分析（SNA）之python处理 https://blog.csdn.net/hhtnan/article/details/81744491#comments https://github.com/blmoistawinde/hello_world
  7. Cypher完整案例csv导入、关系联通、高级查询（三） https://blog.csdn.net/sinat_26917383/article/details/79852596
  8. neo4j批量导入neo4j-import https://blog.csdn.net/sinat_26917383/article/details/82424508
  9. 自然语言处理界的小螺丝钉 https://blog.csdn.net/lhy2014/article/details/82954509
  10. 深度长文 | 复旦大学肖仰华：领域知识图谱落地实践中的问题与对策 https://mp.weixin.qq.com/s/XTJ0t39SbeIDXtseCUcDBA
  11. 详细的知识图谱构建流程 https://zhuanlan.zhihu.com/p/44123660
  12. 知识图谱的技术与应用（18版） https://zhuanlan.zhihu.com/p/38056557

CNN

  1. 如何理解空洞卷积（dilated convolution）？ https://www.zhihu.com/question/54149221/answer/192025860 https://www.zhihu.com/question/54149221/answer/323880412

LSTM

  1. 训练可解释、可压缩、高准确率的LSTM https://mp.weixin.qq.com/s/8BPZ_M8EGk3KxkSleYWSNw
  2. 深入理解lstm及其变种gru https://zhuanlan.zhihu.com/p/34203833
  3. 一文了解LSTM和GRU背后的秘密（绝对没有公式） https://www.zhihu.com/search?type=content&q=GRU%20LSTM

语义匹配

  1. Relevance Matching https://zhuanlan.zhihu.com/p/39946041
  2. 深度文本匹配发展总结 https://zhuanlan.zhihu.com/p/40741576
  3. 综述：深度学习算法在FAQ中的应用(二) https://www.jianshu.com/p/3c20d1886315

深度学习调优

  1. 关于深度学习的机理，优化和网络结构的一些个人观点 https://zhuanlan.zhihu.com/p/22067439
  2. 深度学习中的优化算法 https://zhuanlan.zhihu.com/p/43506482
  3. 深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）https://zhuanlan.zhihu.com/p/22252270
  4. TensorFlow固化模型 https://www.jianshu.com/p/091415b114e2
  5. Rocket Training: 一种提升轻量网络性能的训练方法 https://zhuanlan.zhihu.com/p/28625922
  6. 世界纪录！4分钟训练完ImageNet！可扩展超大规模GPU收敛算法详解 https://mp.weixin.qq.com/s/TeAUT3XNyMUot3uz1K7nTA
  7. 一个框架看懂优化算法之异同 SGD/AdaGrad/Adam https://zhuanlan.zhihu.com/p/32230623
  8. TensorFlow Mobile模型压缩 https://www.jianshu.com/p/d2637646cda1
  9. 深度学习最新方法：随机加权平均 https://www.jianshu.com/p/4459562b2b20
  10. 深度学习最新方法：随机加权平均，击败了当前最先进的Snapshot Ensembling https://blog.csdn.net/dqcfkyqdxym3f8rb0/article/details/80240645
  11. 语言建模的王者：AWD-LSTM指南 https://zhuanlan.zhihu.com/p/51619671?utm_source=wechat_session&utm_medium=social&utm_oi=766536432285126656
  12. TensorFlow 保存模型为 PB 文件 https://zhuanlan.zhihu.com/p/32887066

深度学习模型

  1. SQUAD的rnet复现踩坑记 https://www.cnblogs.com/rocketfan/p/9103878.html
  2. 论文分享 - R-Net: Machine Reading Comprehension with Self-Matching https://blog.csdn.net/jdbc/article/details/80607129
  3. A Decomposable Attention Model for Natural Language Inference阅读笔记 https://blog.csdn.net/leo_95/article/details/89111885
  4. 论文阅读：Enhanced LSTM for Natural Language Inference(ESIM) https://www.jianshu.com/p/f2ff76239992
  5. Natural Language Inference Over Interaction Space(DIIN)阅读笔记 https://blog.csdn.net/leo_95/article/details/89260542

机器学习

  1. XGBoost的原理 http://djjowfy.com/2017/08/01/XGBoost的原理/
  2. 机器学习算法中 GBDT 和 XGBOOST 的区别有哪些？ https://www.zhihu.com/question/41354392/answer/98658997

迁移学习

  1. 《ULMFiT》 阅读笔记 https://zhuanlan.zhihu.com/p/47344283

推荐系统

  1. 推荐系统各种技术博客 https://www.jianshu.com/u/c5df9e229a67
  2. 小毛驴 http://xudongyang.coding.me/
  3. 推荐系统有哪些坑？ https://www.zhihu.com/question/28247353

NER命名实体

  1. 利用Lattice LSTM的最优中文命名实体识别方法 https://mp.weixin.qq.com/s/rA6oTLlFWmIvGUq_XPLOKQ

模型技巧

  1. 美团机器学习实践第四章-模型融合总结 https://www.jianshu.com/p/820f3ce58a60
  2. Ensemble Generation https://blog.csdn.net/u012969412/article/details/76636336
  3. 《Distilling the Knowledge in a Neural Network》阅读笔记 https://zhuanlan.zhihu.com/p/24894102 https://github.com/DushyantaDhyani/kdtf
  4. 详解谷歌之多任务学习模型MMoE(KDD 2018) https://zhuanlan.zhihu.com/p/55752344?utm_source=wechat_session&utm_medium=social&utm_oi=766536432285126656&from=timeline

竞赛技术

  1. 2018 ATEC NLP比赛 15th 总结 https://blog.csdn.net/cuihuijun1hao/article/details/82318792
  2. AI Challenger 2018 冠军 PPT 分享---细粒度情感分析赛道 https://mp.weixin.qq.com/s/W0PhbE8149nD3Venmy33tw
  3. AI Challenger 2018 第4名PPT分享---细粒度情感分析赛道 https://mp.weixin.qq.com/s/J6jPxIToPJsA7aSb7wzIuQ
  4. AI Challenger 2018 机器翻译冠军参赛总结 https://mp.weixin.qq.com/s/zCtl_q8S7dI75P_flQBjOA
  5. 第三届BDC——快手活跃用户预测（Rank1答辩ppt代码）https://zhuanlan.zhihu.com/p/42622063
  6. AI Challenger 2018 文本挖掘类竞赛相关解决方案及代码汇总 http://www.52nlp.cn/ai-challenger-2018-%E6%96%87%E6%9C%AC%E6%8C%96%E6%8E%98%E7%B1%BB%E7%AB%9E%E8%B5%9B%E7%9B%B8%E5%85%B3%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88%E5%8F%8A%E4%BB%A3%E7%A0%81%E6%B1%87%E6%80%BB
  7. AI Challenger2018情感分析赛道亚军PPT分享 https://mp.weixin.qq.com/s/SycD5rGNeK5NwYwfmgCKoA
  8. 汽车行业用户观点主题及情感识别 https://github.com/yilirin/BDCI_Car_2018
  9. 知乎“看山杯” 夺冠记 https://zhuanlan.zhihu.com/p/28923961
  10. “达观杯”文本分类挑战赛Top10经验分享 https://zhuanlan.zhihu.com/p/45391378
  11. “达观杯”挑战赛：单模型带你上前10 https://zhuanlan.zhihu.com/p/52461173
  12. 达观杯文本智能处理挑战赛冠军解决方案 https://zhuanlan.zhihu.com/p/54030260
  13. 2017知乎看山杯 从入门到第二 https://zhuanlan.zhihu.com/p/29020616
  14. 2018 CCL-中移在线客服领域用户意图分类 https://github.com/nlpjoe/2018-CCL-UIIMCS
  15. AI Challenger 2018：细粒度用户评论情感分类冠军思路总结 https://zhuanlan.zhihu.com/p/55887135

多任务

  1. Multi-task Learning的三个小知识 https://zhuanlan.zhihu.com/p/56613537 分层设置学习率

技术博客

  1. 徐阿衡 http://www.shuang0420.com/ （有一些关于知识抽取，BiDAF，QANet）
  2. 刘建平 https://www.cnblogs.com/pinard/ （机器学习，深度学习，自然语言处理，强化学习）
  3. hanxiao https://hanxiao.github.io/ （bert-as-service这个项目的说明文档）
  4. Eureka机器学习读书笔记 https://zhuanlan.zhihu.com/xiadayj （机器学习一些理论东西，值得看看）
  5. 张俊林 https://www.zhihu.com/people/zhang-jun-lin-76/activities

tensorflow

  1. Tensorflow Serving部署流程 https://zhuanlan.zhihu.com/p/42905085
  2. Tensorflow框架实现中的“三”种图 https://zhuanlan.zhihu.com/p/31308381
  3. tensorflow,存储读取数据结构剖析与合并多个graph https://www.jianshu.com/p/ca637520002f
  4. TensorFlow saved_model 模块 https://blog.csdn.net/thriving_fcl/article/details/75213361
  5. tensorflow实现将ckpt转pb文件 https://blog.csdn.net/guyuealian/article/details/82218092
  6. 如何高效地学习 TensorFlow 代码? https://www.zhihu.com/question/41667903/answer/123150582
  7. TensorFlow Serving + Docker + Tornado机器学习模型生产级快速部署 https://zhuanlan.zhihu.com/p/52096200
  8. Horovod-基于TensorFlow分布式深度学习框架 https://zhuanlan.zhihu.com/p/40578792
  9. 【深度学习分布式】Parameter Server 详解 https://zhuanlan.zhihu.com/p/21569493
  10. 基于TensorFlow Serving的深度学习在线预估 https://zhuanlan.zhihu.com/p/46591057
  11. 一文说清楚Tensorflow分布式训练必备知识 https://zhuanlan.zhihu.com/p/56991108
  12. 增大Batch训练神经网络：单GPU、多GPU及分布式配置的实用技巧 https://zhuanlan.zhihu.com/p/48035735
  13. tensorflow分布式 https://github.com/tensorflow/examples/blob/master/community/en/docs/deploy/distributed.md
  14. tensorflow分布式 https://github.com/logicalclocks/hops-examples/tree/master/tensorflow/notebooks/Distributed_Training
  15. TensorFlow 同时调用多个预训练好的模型 https://www.jianshu.com/p/5a3e4b20bc7f
  16. 如何合并两个TensorFlow模型 https://blog.csdn.net/mogoweb/article/details/83064819
  17. TensorFlow saved_model 模块 https://blog.csdn.net/thriving_fcl/article/details/75213361
  18. java部署tensorflow模型实例 https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/android/src/org/tensorflow/demo/TensorFlowImageClassifier.java

统计分析

  1. Lending Club——构建贷款违约预测模型 https://zhuanlan.zhihu.com/p/29994599

新词发现

  1. 反作弊基于左右信息熵和互信息的新词挖掘 https://zhuanlan.zhihu.com/p/25499358

pyzmq

  1. zmq说明文档 http://zguide.zeromq.org/py:all
  2. ZeroMQ及其模式 https://zhuanlan.zhihu.com/p/22947038

Tensorboard

  1. Tensorboard详解 https://zhuanlan.zhihu.com/p/36946874 https://zhuanlan.zhihu.com/p/37022051

python代码优化

  1. Python · numba 的基本应用 https://zhuanlan.zhihu.com/p/27152060
  2. 百倍加速！Python量化策略的算法性能提升指南 https://zhuanlan.zhihu.com/p/24168485
  3. 加速python运行-numba https://www.jianshu.com/p/69d9d7e37bc5

Capsule

  1. 如何看待Hinton的论文《Dynamic Routing Between Capsules》？ https://www.zhihu.com/question/67287444
  2. 如何看待Capsule的第二篇论文Matrix Capsules with EM Routing？ https://www.zhihu.com/question/67427994

docker

  1. docker_cmpose_demo https://github.com/vegasbrianc/docker-compose-demo
  2. docker_practice https://github.com/yeasy/docker_practice

面试资料

  1. Algorithm_Interview_Notes-Chinese https://github.com/imhuay/Algorithm_Interview_Notes-Chinese

常用工具

  1. 这 10 款插件让你的 GitHub 更好用、更有趣 https://zhuanlan.zhihu.com/p/55722104?utm_source=wechat_timeline&utm_medium=social&utm_oi=766536432285126656&from=timeline