🕷️一个可以爬取学堂在线全部课程信息的爬虫
爬虫的实现基于Scrapy框架
(注意:在安装过程中可以选择安装MongoDB Compass,这是一个可视化工具,使用它操作数据库会更方便)
修改数据持久化方法可以在项目的settings.py文件中修改ITEM_PIPLINES中对应pipeline的优先级即可
目前本项目提供以下方式进行数据持久化存储:
🕷️一个可以爬取学堂在线全部课程信息的爬虫
爬虫的实现基于Scrapy框架
(注意:在安装过程中可以选择安装MongoDB Compass,这是一个可视化工具,使用它操作数据库会更方便)
修改数据持久化方法可以在项目的settings.py文件中修改ITEM_PIPLINES中对应pipeline的优先级即可
目前本项目提供以下方式进行数据持久化存储: