momoyu 项目介绍 该项目利用爬虫爬取各大论坛热搜,并且聚集展示,方便浏(摸)览(鱼)。 爬虫 怕从使用的是scrapy的框架,对html使用xpath进行解析,得到对应的title、url、热度等信息,使用pipeline 入mysql。 后端 后端使用的go+gin+gorm框架,提供一个简单的查询api 前端 前端使用vue框架作为展示 爬取网站 豆瓣 微博 oschina