/ExampleScrapy

循序渐进的学习Scrapy的过程

Primary LanguagePythonMIT LicenseMIT

ExampleScrapy

循序渐进的学习Scrapy的过程

依赖库

json codecs scrapy

Create (2015-07-22)

第一版本(bbsspider): 功能:爬取单个论坛页面,获取论坛的题目与连接。然后生成JSON格式的文件

Update (2015-07-23)

第二版本(bbsSecond): 功能: 根据论坛主页网址(domain),获取子论坛地址。然后爬取子论坛里的标题与连接,并自动翻页爬取。 结果生成在项目根目录下的result文件夹内,以JSON格式保存。 爬取速度:慢