/Rico-Platform

👺Full-Stack Data Platform

Primary LanguageJavaScript

全栈数据平台实践(ReactJs+ExpressJs+Scrapy+MachineLearning)

工程简介

由于近期工作上接触了爬虫、机器学习等方面,想整合起来实践一下,同时想实践一下React相关技术,开了这个工程,作为技术上的锻炼与提升。

工程功能

  1. 使用Python-Scrapy框架实现网络信息爬取,包括36Kr等新闻源的信息爬取。
  2. 使用机器学习算法进行抓取信息的聚类、主题提取等操作。
  3. 使用React+Express进行Web展现

工程目录

backend : ExpressJS后端接口代码
frontend : ReactJS前端代码
spider : Scrapy爬虫代码