/web-scraper-app

Web app for scraping websites. Written with Node.js + Angular.js stack.

Primary LanguageCSS

WebScraper app

INSTRUCTION: To run the app, do the following:

    1. npm install
    2. bower install
    3. npm start

Technology stack:

    Front end:
        Angular.js
    Back end:
        Node.js, Express.js
    Testing:
        Mocha
    Doc Generator:
        ESDoc

3rd-party libraries:

    x-ray       --Node.js module for scraping websites
    file-saver  --Angular module for saving data into files

In order to test the app, input urls from the following list:

http://cad.edu.kpi.ua/petrenko/nove/

http://cad.edu.kpi.ua/petrenko/doslidnicka-robota/

http://cad.edu.kpi.ua/petrenko/naukova-robota/

http://cad.edu.kpi.ua/petrenko/metodichna-robota-2/

http://cad.edu.kpi.ua/petrenko/premiї/

http://cad.edu.kpi.ua/rogoza/doslidnicka-robota/

http://cad.edu.kpi.ua/rogoza/metodichna-robota/

http://cad.edu.kpi.ua/rogoza/insha-diyalnist/

http://cad.edu.kpi.ua/rogoza/vixovna-robota/

http://cad.edu.kpi.ua/britov/naukova-diyalnist/

http://cad.edu.kpi.ua/stikanov/vidpochinok/

http://cad.edu.kpi.ua/stikanov/naukova-diyalnist/

http://cad.edu.kpi.ua/bulakh/biografiya/

http://cad.edu.kpi.ua/bulakh/metodichna-robota/

http://cad.edu.kpi.ua/bulakh/naukova-diyalnist/

http://cad.edu.kpi.ua/bulakh/novini/

http://cad.edu.kpi.ua/tsoorin/2012/03/21/diplomni-roboti/

http://cad.edu.kpi.ua/tsoorin/2012/02/10/ekskurs-v-minule/

http://cad.edu.kpi.ua/tsoorin/2011/06/16/vikonannya-dodatkovix-robit/

http://cad.edu.kpi.ua/tsoorin/2011/05/16/naukovi-interesi/

http://cad.edu.kpi.ua/tsoorin/2011/05/16/moї-predmeti/

http://cad.edu.kpi.ua/tsoorin/2011/05/16/biografiya/