/spiders

Primary LanguageJulia

spiders

  1. tutorial/ 学习scrapy时跟着练习的example；
  2. stackOverflow scrapy+MongoDB爬取StackOverflow网站最新问题名称及其URL；
  3. otherSpiders: 平时写的逻辑很简单的Spider
    1. crawler_jiandan_mm.py 爬取煎蛋网图片
    2. doubanScore.py 豆瓣电影评分
    3. dynamicSpider.py 千里码题目，动态爬虫的介绍，分析网站更新频率。
    4. hackhttp_tomcat.py 爬取tomcat漏洞名称
    5. ichunqiu_lesson_bug.py i春秋网站视频学习BUG，BurpSuite抓取POST请求，修改POST参数，从而使课程状态从未学习、学习中变成已学完。
    6. rushLikes.py 千里码题目，计算MD5并投票。