/zhihu

知乎爬虫 爬取用户信息 java

Primary LanguageJava

java 知乎爬虫 爬取用户信息

技术架构

  1. webmagic 爬取页面内容,对url进行处理,定制spider
  2. spring boot 快速开发spring应用程序的微服务框架
  3. spring mvc
  4. mybatis 持久化orm框架
  5. 通用mapper tk.mapper封装了大部分常用的mapper,无需手写普通的CRUD
  6. 百度echarts
  7. redis 作为缓存调度,提高mysql持久化性能