peopleindreamdontsleep/SparkanSpider

java爬虫，反爬虫策略、ETL清洗数据，以及spark离线和实时分析新闻并存入ES

sina新闻爬取、去重、入库、spark机器学习分类、实时处理