msft-vivi/JobNews-ElasticSearch-Scrapy_redis
项目整体分为scrapy-redis分布式爬虫爬取数据、基于ElasticSearch数据检索和前端界面展示三大模块。做此项目是为了熟悉scrapy-redis的基本流程,以及其背后的原理,同时熟悉ElasticSearch的使用。本项目可以作为一个基于ES存储的简单但是相对全面的全栈开发的Demo。项目中所采用的组件均在win10本地环境搭建(伪分布),旨在演示项目流程。你可以参考该项目,并将其扩展到多个主机上,实现分布式ES以及分布式Scrapy。
CSS
Stargazers
- 32147abc
- ABDM357
- AhmedbrkSidi M'Hamed, DZ
- chesterpaulBeijing University of Post and Telecomunication
- Cong-Zou
- derrick658
- h2s1652
- hongshenghome
- jienijieni2
- kamibababaddd
- Lswx2017
- lubancafeSWOTin
- Lyong2022
- MarsWuyue
- msft-viviMicrosoft
- nana-create
- sunnysky29
- thorseraq@toeverything
- VivianLiu0202Nankai University
- winandiarisWinandi Multitech
- ZhangWen-LeoNanjing University
- zyxyxz
- zyy589