Node.js 小爬虫
近日学习node.js ， 写了个简单node的爬虫，爬取segmentFault的文章内容，使用了递归和promise这两种实现方式。由于爬的次数太多，被segmentFault加入了黑名单..尴尬！！！
一、目录结构
|--node_modules<------------->依赖
|--crawler.js<--------------->异步爬虫
|--crawlerSync.js<----------->同步爬虫
|--package.json<------------->项目配置
二、主要功能
按照 ==页数== 和 ==关键词== 爬取 segmentFault 的文章
三、使用方法
1. 安装依赖
npm install
2. 修改参数
pages //设置爬取的页数
keyword //设置爬取的关键词
3. 运行
// promise 异步
node crawler.js
// 递归 同步
node crawlerSync.js
四、依赖
- cherrio //页面解析
- bluebird // promise封装库
五、运行环境
node V6.10.3