只用于学习交流，私自用于其他途径，后果自负！！！
目前只抓取零食相关的数据,现在就只需要零食相关的数据,其他后续再议!
抓取零食相关的目的就是为了这个vipsnacks项目的后续开发。
- httpclient
- jsoup
- slf4j
- selenium
- phantomjs
- WebCollector
- 初始化项目，完成一,二级类目的抓取 (2017-05-24)
- 采用selenium获取页面数据，获取三,四,五级类目(2017-05-25)
- 多线程并发爬取类目分页数据(2017-05-26)
- 多线程爬取商品skuid(2017-05-28)
selenium这个爬取的速度太慢了，而且每次还要打开一个网页，抓取少量数据还可以用一用，多的话实在罩不住，近期在找别的方法爬取
- 使用WebCollector+selenium+phantomjs爬取商品(2017-06-01只爬取一个类目测试)
- 数据入库测试(2017-06-02)
- 测试爬取一个小类目，爬取20万数据用时21分钟(2017-06-03)
- 数据正常入库,爬取数据285330条(2017-06-04)
- 优化获取商品代码，从获取一页要19664毫秒，优化到现在获取一页商品要7000毫秒左右,(2017-06-07)
觉得不错的朋友可以点下star,watch,fork也算是对我的鼓励了。