/Wendie

百度网盘爬虫系统,生成相应目录树并存储,支持有提取码和无提取码链接。提供后台配置界面,以及前端搜索界面。

Primary LanguagePython

Wendie

Wendie是一个百度网盘文件爬虫系统,提供后台配置以及搜索界面。支持有提取码和无提取码的链接爬取,根据相应链接爬取对应的目录树进行存储,搜索模块可以搜索爬取到的文件信息,同时可以进行简单的后台配置。

Wendie使用Redis作为中间件,采用Scrapy分布式爬虫框架,结果存储在ElasticSearch中,可以方便地部署和进行二次开发。

项目未完成,待续