/scrapy_spring4all

用于抓取 spring4all 的周报内容

Primary LanguageJavaScript

scrapy_spring4all

Installation

$ npm install phantomjs casperjs -g
$ npm install 

注意安装过程如果慢的话,请安装nrm,然后使用淘宝的node源:

npm install -g nrm 
nrm use taobao

Features

  • 爬取Spring4All社区开源项目
  • 爬取Spring4All社区热门文章
  • 爬取Spring4All社区热门议题

Start the scrapy

casperjs index.js

或者

npm start