/baike-crawler

simple crawler with python for fetch baike item detail

Primary LanguagePython

Documentation

  • 离线爬虫模块
  • 词条文本约4000条，包含以下词条类别，可用于文本抽取，文本分类或聚类研究。

Reference

http://www.baike.com/ 互动百科类别列表

推荐 1
热点 2
视频 3
人物 4
科技 5
文化 6
军事 7
历史 8
生活 9

#!/usr/bin/python
# -*- coding: UTF-8 -*-

注

  • python版本2.7
  • redis版本4.x