/ImoocSpider

爬取慕课网数据

Primary LanguagePython

Scrapy 爬取慕课网数据

目标

  1. 免费课程信息
  2. 课程的章节(Lesson)、视频(Video)信息
  3. 课程教师信息

特点

  • 无随机 UA
  • 无 IP 代理
  • 无分布式爬取
  • 异步写入 mysql

结果

  • Course: 819
  • Lesson: 15875
  • Video: 46983
  • Comments :33277
  • Teacher: 333