cike23

cike23's Stars

• baichengzhou/SpringMVC-Mybatis-shiro

  一个基于SpringMVC + Mybatis的Shiro + Redis的权限控制Demo，建议使用新版本https://github.com/baichengzhou/SpringMVC-Mybatis-Shiro-redis-0.2 ，查看Demo介绍：

  Language:Java331222

• tianshb/MagicToe

  基于webmagic + springboot + mybatis的Java爬虫，使用Echarts进行数据可视化分析，提供了从爬虫获取数据到数据持久化、数据可视化分析以及构建简单的代理池等一整套解决方案模板。

  Language:Java360155

• ysc/HtmlExtractor

  HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件。

  Language:Java157119

• hfut-dmic/ContentExtractor

  自动抽取网页正文的算法，用JAVA实现

  Language:Java10647

• Trekkiii/KMQueue

  Redis-based distributed queue with queue task monitoring, task timeout, failed task retries and more

  Language:Java198

• yangguang2014/distributedCrawler

  华南理工大学高英实验室进行的分布式爬虫项目,除了实验室内部人员外,不得私自传播.

  Language:Java2125

• ScienJus/pixiv-crawler

  通过网页爬虫批量下载 Pixiv 图片

  Language:Java5810

• zhou1hang/crawler

  基于selenium封装chrome、firefox、phantomjs等实现

  Language:Java159

• jachohx/crawler

  Language:Java21

• xuxueli/xxl-crawler

  A distributed web crawler framework.（分布式爬虫框架XXL-CRAWLER）

  Language:Java686299

• gsh199449/DistributeCrawler

  基于Map/Reduce爬虫,可抽取各大新闻网站的新闻正文并进行分类和聚类

  Language:Java7644

• codelibs/elasticsearch-river-web

  Web Crawler for Elasticsearch

  Language:Java23457

• 631068264/crawler

  Java 多线程爬虫 redis

  Language:Java34

• out0fmemory/GuozhongCrawler

  GuozhongCrawler的是一个无须配置、便于二次开发的爬虫开源框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。其设计灵感来源于多个爬虫国内外爬虫框架的总结。采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试，定制执行js、自定义cookie等功能。在处理网站抓取多次后被封IP的问题上，guozhongCrawler采用动态轮换IP机制有效防止IP被封。另外，源码中的注释及Log输出全部采用通俗易懂的中文。让初学者能有更加深刻的理解

  Language:Java9665

• timelessmemory/NetEaseCloudMusicCrawler

  HttpClient + Jsoup + Queue

  Language:Java3514

• doubleview/fastcrawler

  一个快速，简单，基于多线程的网络爬虫框架

  Language:Java129

• codelibs/fess-crawler

  Web/FileSystem Crawler Library

  Language:Java2818

• denghuichao/proxy-pool

  爬虫代理IP池服务，可供其他爬虫程序通过restapi获取

  Language:Java11255

• xbynet/crawler

  A simple and flexible web crawler framework for java.

  Language:Java195

• DMinerJackie/JewelCrawler

  豆瓣电影爬虫——a crawler which is able to crawl movie detail and short comments, save them to database mysql, also include Sentiment analysis based on comments

  Language:Java6859

• dadoonet/fscrawler

  Elasticsearch File System Crawler (FS Crawler)

  Language:Java1.3k299

• duoan/codes-scratch-crawler

  读书笔记《自己动手写网络爬虫》，自己敲的代码。主要记录了网络爬虫的基本实现，网页去重的算法，网页指纹算法，文本信息挖掘

  Language:Java4722