/WEB_KG

爬取百度百科中文页面，抽取三元组信息，构建中文知识图谱

Primary LanguagePython

开源web知识图谱项目

  • 爬取百度百科中文页面
  • 解析三元组和网页内容
  • 构建中文知识图谱
  • 构建百科bot（构建中）
update 20200720

Windows上的部署参考如何在Windows上部署，感谢LMY-nlp0701！

update 20191121
  • 迁移代码到爬虫框架scrapy
  • 优化了抽取部分代码
  • 数据持久化迁移到mongodb
  • 修复chatbot失效问题
  • 开放neo4j后台界面，可以查看知识图谱成型效果
Tips
  • 如果是项目问题，请提issue。
  • 如果涉及到不方便公开的，请发邮件。
  • ChatBot请访问链接
  • 成型的百科知识图谱访问链接，用户名：neo4j,密码：123。效果如下：

环境

  • python 3.6
  • re:url正则匹配
  • scrapy:网页爬虫和网页解析
  • neo4j:知识图谱图数据库,安装可以参考链接
  • pip install neo4j-driver：neo4j python驱动
  • pip install pymongodb：mongodb的python支持
  • mongodb数据库：安装参考链接

代码执行：

cd WEB_KG/baike
scrapy crawl baike

执行界面(按ctrl+c停止)：

知识图谱效果图

mongodb存储的网页内容

mongodb存储的三元组

neo4j后台界面