/ChineseNLPCorpus

中文自然语言处理数据集,平时做做实验的材料。欢迎补充提交合并。

Primary LanguagePython

[TOC]

ChineseNlpCorpus

中文自然语言处理数据集,平时做做实验的材料。欢迎补充提交合并。

文本分类

新闻分类

情感/观点/评论 倾向性分析

数据集 数据概览 下载
ChnSentiCorp_htl_all 7000 多条酒店评论数据,5000 多条正向评论,2000 多条负向评论 地址
waimai_10k 某外卖平台收集的用户评价,正向 4000 条,负向 约 8000 条 地址
online_shopping_10_cats 10 个类别,共 6 万多条评论数据,正、负向评论各约 3 万条, 包括书籍、平板、手机、水果、洗发水、热水器、蒙牛、衣服、计算机、酒店 地址
weibo_senti_100k 10 万多条,带情感标注 新浪微博,正负向评论约各 5 万条 地址
simplifyweibo_4_moods 36 万多条,带情感标注 新浪微博,包含 4 种情感, 其中喜悦约 20 万条,愤怒、厌恶、低落各约 5 万条 地址
dmsc_v2 28 部电影,超 70 万 用户,超 200 万条 评分/评论 数据 地址
yf_dianping 24 万家餐馆,54 万用户,440 万条评论/评分数据 地址
yf_amazon 52 万件商品,1100 多个类目,142 万用户,720 万条评论/评分数据 地址

实体识别&词性标注

搜索匹配

OPPO手机搜索排序

OPPO手机搜索排序query-title语义匹配数据集。

链接:https://pan.baidu.com/s/1Hg2Hubsn3GEuu4gubbHCzw 提取码:7p3n

网页搜索结果评价(SogouE)

推荐系统

数据集 数据概览 下载地址
ez_douban 5 万多部电影(3 万多有电影名称,2 万多没有电影名称),2.8 万 用户,280 万条评分数据 点击查看
dmsc_v2 28 部电影,超 70 万 用户,超 200 万条 评分/评论 数据 点击查看
yf_dianping 24 万家餐馆,54 万用户,440 万条评论/评分数据 点击查看
yf_amazon 52 万件商品,1100 多个类目,142 万用户,720 万条评论/评分数据 点击查看

百科数据

维基百科

维基百科会定时将语料库打包发布:

百度百科

只能自己爬,爬取得链接:https://pan.baidu.com/share/init?surl=i3wvfil提取码 neqs 。

指代消歧

CoNLL 2012 :http://conll.cemantix.org/2012/data.html

预训练:(词向量or模型)

BERT

  1. 开源代码:https://github.com/google-research/bert
  2. 模型下载:BERT-Base, Chinese: Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads, 110M parameters

ELMO

  1. 开源代码:https://github.com/allenai/bilm-tf
  2. 预训练的模型:https://allennlp.org/elmo

腾讯词向量

腾讯AI实验室公开的中文词向量数据集包含800多万中文词汇,其中每个词对应一个200维的向量。

上百种预训练中文词向量

https://github.com/Embedding/Chinese-Word-Vectors

中文完形填空数据集

https://github.com/ymcui/Chinese-RC-Dataset

中华古诗词数据库

最全中华古诗词数据集,唐宋两朝近一万四千古诗人, 接近5.5万首唐诗加26万宋诗. 两宋时期1564位词人,21050首词。

https://github.com/chinese-poetry/chinese-poetry

保险行业语料库

https://github.com/Samurais/insuranceqa-corpus-zh

汉语拆字字典

英文可以做char embedding,中文不妨可以试试拆字

https://github.com/kfcd/chaizi

中文数据集平台

NLP工具

THULAC: https://github.com/thunlp/THULAC :包括中文分词、词性标注功能。

HanLP:https://github.com/hankcs/HanLP

哈工大LTP https://github.com/HIT-SCIR/ltp

NLPIR https://github.com/NLPIR-team/NLPIR

jieba https://github.com/yanyiwu/cppjieba