/Python

some python scrapy demos

Primary LanguagePython

项目介绍，以及一句话描述

  1. db_film_top250，抓取豆瓣电影Top250
  2. Ttmeiju，抓取天天美剧一些电影信息
  3. SougouWeixin，搜歌微信，抓取特定微信公众号的文章
  4. dangdang，使用Scrapy抓取当当图书并存储到mysql
  5. IPProxyPool，使用IP代理池，细节见https://github.com/qiyeboy/IPProxyPool；
  6. django_demo，使用Django搭建简单的博客
  7. zhihu_login，手动输入验证码，模拟登录知乎
  8. dingdian2，抓取顶点小说
  9. Test，黑客测试
  10. xiaoshuo，使用多个spider抓取起点、纵横、17K、潇湘书院、创世中文网等小说网站，并集成运行多个spider指令，以及简单的排序。