/LuLuCrawler

[node] a web crawler.

Primary LanguageJavaScriptMIT LicenseMIT

#LuLu Crawler LuLu Crawler 是結合 MakeeAPI、SimpleCrawler、Cheerio 的爬蟲應用程式，它將會爬取指定網域，並將欲擷取之資料存入資料庫中。

安裝 (Install)

  1. 安裝使用套件
$ cd <directory-to-your-lulucrawler>
$ cp config.example.js config.js
$ npm i
  1. 設定 config.js
exports.getThisUrl = '<URL>';

  1. 修改爬取內容於 spider.js

  2. 請啟動 app.js

$ node app.js

How to Install Homebrew (Mac)

$ ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

How to Install Node

$ brew install nodejs

How to Install MongoDB

$ brew install mongodb

版本資訊

  • Node：0.10.38

License

MIT