SeanLee2Cod/KBQA_Paper

the paper trace of KBQA, also contains some common/classic NLP/Deep Learning papers and resources.

KBQA_Paper

---

the paper trace of KBQA, also contains some common/classic NLP/Deep Learning papers and resources.

一 传统的方法

---

1. 语义解析（Semantic Parsing）

该方法是一种偏linguistic的方法，主体**是将自然语言转化为一系列形式化的逻辑形式（logic form）,通过对逻辑形式进行自底向上的解析，得到一种可以表达整个问题语义的逻辑形式，通过相应的查询语句（类似lambda-Caculus）在知识库中进行查询，从而得出答案。

• Berant J, Chou A, Frostig R, et al. Semantic Parsing on Freebase from Question-Answer Pairs//EMNLP. 2013, 2(5): 6.

• Cai Q, Yates A. Large-scale Semantic Parsing via Schema Matching and Lexicon Extension//ACL (1). 2013: 423-433.

• Kwiatkowski T, Choi E, Artzi Y, et al. Scaling semantic parsers with on-the-fly ontology matching//In Proceedings of EMNLP. Percy. 2013.

• Fader A, Zettlemoyer L, Etzioni O. Open question answering over curated and extracted knowledge bases//Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2014: 1156-1165.

2. 信息抽取（Information Extraction）

该类方法通过提取问题中的实体，通过在知识库中查询该实体可以得到以该实体节点为中心的知识库子图，子图中的每一个节点或边都可以作为候选答案，通过观察问题依据某些规则或模板进行信息抽取，得到问题特征向量，建立分类器通过输入问题特征向量对候选答案进行筛选，从而得出最终答案。

• Yao X, Van Durme B. Information Extraction over Structured Data: Question Answering with Freebase//ACL (1). 2014: 956-966.

3. 向量建模（Vector Modeling）

该方法**和信息抽取的**比较接近，根据问题得出候选答案，把问题和候选答案都映射为分布式表达（Distributed Embedding），通过训练数据对该分布式表达进行训练，使得问题和正确答案的向量表达的得分（通常以点乘为形式）尽量高,模型训练完成后则可根据候选答案的向量表达和问题表达的得分进行筛选，得出最终答案。

• Antoine Bordes, Sumit Chopra, Jason Weston: Question Answering with Subgraph Embeddings. EMNLP 2014: 615-620

• Yang M C, Duan N, Zhou M, et al. Joint Relational Embeddings for Knowledge-based Question Answering//EMNLP. 2014, 14: 645-650.

• Bordes A, Weston J, Usunier N. Open question answering with weakly supervised embedding models//Joint European Conference on Machine Learning and Knowledge Discovery in Databases. Springer Berlin Heidelberg, 2014: 165-180.

二 基于深度学习的KBQA方法

---

1. 使用CNN对语义解析方法提升

• Yih S W, Chang M W, He X, et al. Semantic parsing via staged query graph generation: Question answering with knowledge base. 2015. (注：该paper来自微软，是ACL 2015年的Outstanding paper，也是目前KB-QA效果最好的paper之一)

2. 使用CNN对向量建模方法进行提升

• Dong L, Wei F, Zhou M, et al. Question Answering over Freebase with Multi-Column Convolutional Neural Networks//ACL (1). 2015: 260-269.

3. 使用LSTM、CNN进行实体关系分类

• Xu Y, Mou L, Li G, et al. Classifying Relations via Long Short Term Memory Networks along Shortest Dependency Paths//EMNLP. 2015: 1785-1794.

• Zeng D, Liu K, Lai S, et al. Relation Classification via Convolutional Deep Neural Network//COLING. 2014: 2335-2344.（Best paper）

• Zeng D, Liu K, Chen Y, et al. Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks//EMNLP. 2015: 1753-1762.

4. 使用记忆网络（Memory NetWorks），注意力机制（Attention Mechanism）进行KBQA

• Bordes A, Usunier N, Chopra S, et al. Large-scale simple question answering with memory networks. arXiv preprint arXiv:1506.02075, 2015.

• Zhang Y, Liu K, He S, et al. Question Answering over Knowledge Base with Neural Attention Combining Global Knowledge Information. arXiv preprint arXiv:1606.00979, 2016.

三 核心概念与实用工具

---

1. 核心概念

（1）NLP基础

• 组合范畴语法（Combinatory Categorical Grammars，CCG）

• 数据归一化：SUTime

• 语法依存树（Dependency tree）

• 词袋模型（Bag-of-words model）

（2）深度学习基础

• AdaGrad算法

• lambda-rank算法

（3）Deep Learning for NLP

• 词嵌入向量（word-embedding）

• text-CNNs

• character-CNNs

• 神经图灵机（Neural Tuning Machine）

• 端到端学习（End-to-End）的记忆网络

• 注意力机制应用于NLP问题：提出经典的encoder-decoder with attention mechanism模型

• 知识图谱补全的经典方法:TransE

2. 实用工具

• Stanford CoreNLP – Natural language software

四 推荐阅读与学习资源

---

1. 推荐阅读

• 肖仰华 | 基于知识图谱的问答系统

• 重磅 | 肖仰华：领域知识图谱落地实践中的问题与对策

• 重磅 | 肖仰华：知识图谱与认知智能

• Yanghuaxiao

• 技术动态 | 基于深度学习知识库问答研究进展

• TF-IDF与余弦相似性的应用（一）：自动提取关键词

• 揭开知识库问答KB-QA的面纱8·非结构化知识篇

• 揭开知识库问答KB-QA的面纱9·动态模型篇

2. 学习资源

• 百度开源AnyQ问答系统框架

• Your new Mentor for Data Science E-Learning

• 增强学习

• 基于知识图谱的问答系统入门之—NLPCC2016KBQA数据集

• 基于电影知识图谱的智能问答系统

• 从无到有构建一个电影知识图谱，并基于该KG，开发一个简易的KBQA程序

• 基于知识库的问答：seq2seq模型实践

• 基于知识库的开放域问答系统的相关工作

五 参考链接

---

• 知乎专栏：揭开知识库问答KB-QA的面纱