webmagic
There are 67 repositories under webmagic topic.
zifangsky/WeatherSpider
天气爬虫(全国城镇天气自动定时抓取更新,并开放RESTful查询接口),附带代理IP池定时更新并检测其可用性
hemin1003/java-spider
一个基于webmagic框架二次开发的java爬虫框架实战,已实现能爬取腾讯,搜狐,今日头条(单独集成功能)等资讯内容,配合elasticsearch框架用法,实现了自动爬虫,已投入线上生产使用。
jinhx128/springboot-demo
基于SpringBoot 2.x整合各种常用开发工具,包括但不限于Redis,MyBatisPlus,RocketMQ,RabbitMQ,Elasticsearch,Quartz,Xxl-Job,Kafka等。
CR553/Project01
基于springboot+mybatis+echarts+webmagic 的疫情数据可视化网站
liyifeng1994/webmagic-csdnblog
基于WebMagic写的一个csdn博客小爬虫
soberqian/Java-Carwler-Technology
网络数据采集技术—Java网络爬虫 (书稿完整代码,涉及网络爬虫的各种技术和知识点)
v5tech/solrj-example
solrj示例
99246255/SpringBoot-Solr
SpringBoot+Solr + webmagic JD商品爬取数据,放入solr中做搜索,学习下solr使用
casolxia/TwitterCrawler
抓取twitter数据,可根据时间、话题、用户名等条件抓取数据,twitter爬虫
zhaoweilong007/zhihuCrawler
基于webMagic爬取知乎数据,并按天定时归档
shangjing105/spray-module
spray模块架构分离
wxynihao/baidu-search-result-crawler
一个百度搜索结果内容获取爬虫。
FrankCy/spring-boot-frank-spider
Java 电商爬虫,动态代理请自行更换!爬取目标:京东、考拉、丝芙兰;使用工具:HtmlUnit(单线程,大部分网站通过代理可以获取,但是反爬多层JS的无法取到)、ChromeDriver(多进程,需要考虑销毁机制)等(其它的不咋好用)(此项目只为研究各个工具的优劣,并不支持商用)
juda-zhang/av-spider
解析司机网站获取帖子车牌详情的爬虫
Jasonandy/Skeleton-X
:tada:基于Springboot的SSM脚手架,目前已整合spring-scurity,websocket,docker,echarts,mybatis,elsticSearch.logback,ehcache,redis,kafka,jwt等,旨在开箱即用,简化搭建流程.集成了爬虫项目,OpenCV项目.WebSocket项目.
leon66666/financehelper
基于webmagic实现的网络爬虫。主要抓取各大财经网站数据,生成自定义图表
leonGravel/ip-spider
一个爬虫小程序,使用webmagic+springboot抓取代理IP网站的数据,并持久化到本地
hooyantsing/webmagic-job
基于 springboot 底座、webmagic 爬虫内核、xxl-job 任务定时调度实现的分布式爬虫平台
TGhoul/spider914j
91 web spider for java.
xiaoyvyv/AndroidCrawlerEngine
A dynamic crawler plug-in for the Android platform based on Dex dynamic loading, which can dynamically load and execute the dex plug-in package, and can realize real-time updates of crawler and other functions.
casolxia/ctripcrawler
抓取携程航班数据,此数据来源于飞常准,使用webmagic框架
fengsam6/webmagic-learn
使用springboot、spring-data-jpa、webmagic等技术,定时爬取爱奇艺视频、360视频
lc291215654/searchutil
网络文本采集/存储/索引查询
phinehasz/bilibiliCrawl
a spider for bilibili based on WebMagic 基于WebMagic的b站视频爬虫
casolxia/12306TrainCrawler
获取12306全国未来30天车次详细数据,12306爬虫
gglinux/doucha
校园招聘信息服务平台,数据来源于湖南五所高校的全部校园招聘信息
her-cat/novel-spider
基于 webmagic 的小说爬虫
woyumen4597/crawler
Java 爬虫
JiongZhu/evanaly
基于社会事件的民航客流量分析系统
jumpjumpbean/FoodsSpider
Webmagic+Springboot+Mybatis爬虫抓取食材数据
FelixMundial/simple-crawler
Crawler on Zhihu/Bilibili/Weibo/Baidu/Douban trending items, powered by WebMagic
gsabbih6/GHNewsCrawler
A crawling and scraping project for news content build on top of Webmagic
JhonatanIT/cl-generator-ai-service
Cover letter generator with Generative AI
leonGravel/musicSpider
✏️ webmagic+springboot 爬取网易云音乐的歌曲评论
youngkuan/subtitle
subtitle downloader using webmagic (使用webmagic爬取字幕网站电影字幕以及相关信息)