/crawl-python

spider

Primary LanguagePythonMozilla Public License 2.0MPL-2.0

spiders

爬虫类,不定期更新 采用scrapy,requests,bs4,selenium/PhantomJS,pyspider等主流爬虫工具 全站爬取36kr,虎嗅,豆瓣,知乎,今日头条等网站 存储格式有MongoDB,redis,excel等 Store CrawlProjects