/ScrapyProject

写一些爬虫代码,,喜欢可以star :blush:

Primary LanguagePython

Scrapy-Project

《目录》

  1. 糗事百科 QiuBai

  2. 天气预报 WeatherReport

  3. 第一路演 dyly

  4. 克拉女神 kelagirl

  5. 代理IP IpProxy

  6. 肉丝写真图 rosiok

  7. 煎蛋美女图 JianDan

  8. 豆瓣高分书单 DouBan

coding

QiuBai

抓取糗事百科的作者和糗事内容,最后都放到EXCEL中保存。

WeatherReport

魔都的天气变换太快,爬一下天气预报把每天和第二天的天气在下班前用邮件发出来。

dyly

第一路演新闻抓取,从AJAX中获取对应news_id回调爬取函数。

kelagirl

克拉女神专辑图片爬取。

[DONE] 完成专辑图片爬取功能;

IpProxy

爬取免费代理ip地址,验证后存库。

[DONE] 收集整体免费代理网站地址;

[DONE] 完成代理ip爬取;

[DONE] 完成代理ip验证;

[TODO] 完成代理ip存库工作;

rosiok

爬取rosiok上的写真图片,借鉴别人代码;

[DONE] 爬取写真图片;

JianDan

爬取JianDan上的写真图片。

[DONE] 爬取煎蛋网妹子图片,使用CrawlSpider进行深层爬取;

DouBan

爬取豆瓣高分书单信息。 [TODO] 爬取豆瓣信息;