codehunte/crawler

爬虫脚本

爬虫脚本

携程旅游

* 获取携程旅游的所有城市 http://you.ctrip.com/sight/hangzhou14.html
* 获取携程旅游的城市下的所有景点 http://you.ctrip.com/sight/hangzhou14.html

蚂蜂窝

* 获取马蜂窝旅游的所有城市 http://www.mafengwo.cn/mdd/
* 获取马蜂窝旅游的城市下的所有景点 http://www.mafengwo.cn/poi/3498.html
* 获取某一景点的用户图片 http://www.mafengwo.cn/photo/poi/3498.html

京东

* 获取京东商品用户评论的图片 https://item.jd.com/3133857.html

豆瓣

* 获取豆瓣图书Tag https://book.douban.com/tag/?icn=index-nav
* 获取根据Tag获取豆瓣图书列表 https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4
* 获取豆瓣图书详情 https://book.douban.com/subject/25862578/ 

flickr

* 根据搜索关键词获取flickr图片（需翻墙）https://www.flickr.com/search/?text=%E5%93%88%E5%A3%AB%E5%A5%87