/scrapy_tuto

Use sina news website as example to introduce scrapy

Primary LanguagePython

Scrapy tutorial

利用 Scrapy 框架一步一步的爬取新浪新闻网的文章。

YouTube 视频链接 YouKu 视频链接

视频教程列表

  • Scrapy简介和安装方法
  • 利用 Scrapy 下载新浪新闻网
  • 利用 scrapy 爬取网站中的详细
  • Scrapy 数据项介绍和导出数据到 json 文件
  • Scrapy 将爬取的数据利用 pipeline 和 settings 存储到 MongoDB
  • Scrapy 继续爬虫,终止和重启任务