panxianhaoo/ProgrammablewebCrawler

Programmableweb Crawler

使用

按顺序执行

爬取API信息

• scrapy crawl api_links
• scrapy crawl api_info_links
• scrapy crawl api_data

爬取API的Followers信息

• scrapy crawl api_follower

爬取Mashup信息

• scrapy crawl mashup_links
• scrapy crawl mashup_data

爬取Library信息

• scrapy crawl library_links
• scrapy crawl library_data

爬取Source Code信息

• scrapy crawl source_links
• scrapy crawl source_data

爬取SDK信息

• scrapy crawl sdk_links
• scrapy crawl sdk_data

爬取Framework信息

• scrapy crawl framework_links
• scrapy crawl framework_data

生成数据

• data2csv.py 将json数据转换为csv

声明

此数据来源于Programmableweb
爬取的数据只用作研究使用，如涉及相关用户信息，请联系删除