A curated list of resources for NLP (Natural Language Processing) for Chinese
中文自然语言处理相关资料
图片来自复旦大学邱锡鹏教授
2. Corpus 中文语料
-
THULAC 中文词法分析工具包 by 清华 (C++/Java/Python)
-
NLPIR by 中科院 (Java)
-
LTP 语言技术平台 by 哈工大 (C++)
-
FudanNLP by 复旦 (Java)
-
BosonNLP by Boson (商业API服务)
-
HanNLP (Java)
-
SnowNLP (Python) Python library for processing Chinese text
-
YaYaNLP (Python) 纯python编写的中文自然语言处理包，取名于“牙牙学语”
-
DeepNLP (Python) Deep Learning NLP Pipeline implemented on Tensorflow with pretrained Chinese models.
-
chinese_nlp (C++ & Python) Chinese Natural Language Processing tools and examples
-
Chinese-Annotator (Python) Annotator for Chinese Text Corpus 中文文本标注工具
-
CoreNLP by Stanford (Java) A Java suite of core NLP tools.
-
NLTK (Python) Natural Language Toolkit
-
spaCy (Python) Industrial-Strength Natural Language Processing
-
OpenNLP (Java) A machine learning based toolkit for the processing of natural language text.
-
gensim (Python) Gensim is a Python library for topic modelling, document indexing and similarity retrieval with large corpora.
-
Jieba 结巴中文分词 (Python及大量其它编程语言衍生) 做最好的 Python 中文分词组件
-
kcws 深度学习中文分词 (Python) BiLSTM+CRF与IDCNN+CRF
-
ID-CNN-CWS (Python) Iterated Dilated Convolutions for Chinese Word Segmentation
-
Genius 中文分词 (Python) Genius是一个开源的python中文分词组件，采用 CRF(Conditional Random Field)条件随机场算法。
-
loso 中文分词 (Python)
-
yaha "哑哈"中文分词 (Python)
-
ChineseWordSegmentation (Python) Chinese word segmentation algorithm without corpus（无需语料库的中文分词）
-
MITIE (C++) library and tools for information extraction
-
Duckling (Haskell) Language, engine, and tooling for expressing, testing, and evaluating composable language rules on input strings.
-
IEPY (Python) IEPY is an open source tool for Information Extraction focused on Relation Extraction.
-
Snorkel A training data creation and management system focused on information extraction
-
Neural Relation Extraction implemented with LSTM in TensorFlow
-
Information-Extraction-Chinese Chinese Named Entity Recognition with IDCNN/biLSTM+CRF, and Relation Extraction with biGRU+2ATT 中文实体识别与关系提取
-
Familia 百度出品的 A Toolkit for Industrial Topic Modeling
-
Rasa NLU (Python) turn natural language into structured data
-
Rasa Core (Python) machine learning based dialogue engine for conversational software
-
Chatterbot (Python) ChatterBot is a machine learning, conversational dialog engine for creating chat bots.
-
Chatbot (Python) 基於向量匹配的情境式聊天機器人
-
Tipask (PHP) 一款开放源码的PHP问答系统，基于Laravel框架开发，容易扩展，具有强大的负载能力和稳定性。
-
QuestionAnsweringSystem (Java) 一个Java实现的人机问答系统，能够自动分析问题并给出候选答案。
-
QA-Snake (Python) 基于多搜索引擎和深度学习技术的自动问答
-
使用深度学习算法实现的中文阅读理解问答系统 (Python)
-
DuReader中文阅读理解Baseline代码 (Python)
-
基于SmartQQ的自动机器人框架 (Python)
-
百度百科100gb语料@百度盘 密码neqs 出处应该是梁斌penny大神
-
UDChinese (for training spaCy POS)
-
Synonyms:中文近义词工具包 基于维基百科中文和word2vec训练的近义词库，封装为python包文件。
-
Chinese_conversation_sentiment A Chinese sentiment dataset may be useful for sentiment analysis.
-
中文突发事件语料库 Chinese Emergency Corpus
-
dgk_lost_conv 中文对白语料 chinese conversation corpus
-
用于训练中英文对话系统的语料库 Datasets for Training Chatbot System
-
**股市公告信息爬取 通过python脚本从巨潮网络的服务器获取**股市（sz,sh）的公告(上市公司和监管机构)
-
tushare财经数据接口 TuShare是一个免费、开源的python财经数据接口包。
-
保险行业语料库 [52nlp介绍Blog] OpenData in insurance area for Machine Learning Tasks
-
最全中华古诗词数据库 唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人，21050首词。
-
中文语料小数据 包含了中文命名实体识别、中文关系识别、中文阅读理解等一些小量数据
-
中文人名语料库 中文姓名,姓氏,名字,称呼,日本人名,翻译人名,英文人名。
-
中文敏感词词库 敏感词过滤的几种实现+某1w词敏感词库
-
中文数据预处理材料 中文分词词典和中文停用词
-
SentiBridge: 中文实体情感知识库 刻画人们如何描述某个实体，包含新闻、旅游、餐饮，共计30万对。
-
NLP Conference Calender Main conferences, journals, workshops and shared tasks in NLP community.
-
Stanford CS224n Natural Language Processing with Deep Learning 2017
-
Speech and Language Processing by Dan Jurafsky and James H. Martin
-
文本处理实践课资料 文本处理实践课资料，包含文本特征提取（TF-IDF），文本分类，文本聚类，word2vec训练词向量及同义词词林中文词语相似度计算、文档自动摘要，信息抽取，情感分析与观点挖掘等实验。