/cc98

cc98爬虫

Primary LanguagePython

CC98

#爬虫 设定板块的ID号，然后爬虫开始去追踪版面信息，把该板块的每个帖子里，每层楼的发帖者，发帖时间，楼层，发帖内容，改帖子信息存储到MongoDB数据库。

#热词统计 选取帖子超过30页的帖子，进行分词热词统计，然后过滤掉一些无用的热词，每个帖子的热词存储在MongoDB数据库里面。

#依赖库

  1. Beautifusoup4
    用来解析HTML页面，定位和提取HTML页面里面所需存储的信息。 
    pip install beautifulsoup4
  2. lxml
    Beautifulsoup使用的第三方解析器 
    pip install lxml
  3. pymongo
    MongoDB的python接口 
    pip install pymongo
  4. jieba
    用于分词
    pip install jieba