Citrusu/node-crawler

一个简单的网页爬虫

一个简单的网页爬虫

• 基于 nodejs 的爬虫，测试的是 cnode 社区的分页数据，可以设置抓取的页数。
• 数据库基于 mongodb
• 运行 index 抓取到数据库
• 运行 get 读取数据到页面