/ArticleSpider

2018.2更新版【Python分布式爬虫打造搜索引擎代码+教程】(已上线) 【爬虫端】(知乎 & 拉勾 & 伯乐)

Primary LanguagePython

2018.2: ArticleSpider

Build Status MIT Licence

2018.2最新使用Scrapy爬取数据 + elasticSearch 存储并提供api + Django打造搜索引擎。

线上演示地址: http://search.mtianyan.cn

本仓库为数据采集爬虫代码 搜索引擎Django网站代码请前往: https://github.com/mtianyan/mtianyanSearch

Background:

  • 其实去年已经做过一遍这个,当做一次大作业来做的,很赶很不认真.
  • 这次我当做自己近期的一个个人小项目,算是比较认真完善的完成了这个搜索引擎。

原版视频课程地址:

原版视频已经出了有一段时间,知乎更换了登录的接口。拉勾也不再像以前那么友好不需要登录。讲师在视频里只处理了文章的搜索。下面教程仅作为学习笔记:希望能让后来者少趟一些坑。

简书持续更新文集地址: https://www.jianshu.com/nb/11202633

About me

简书 && mtianyan's blog

有趣的Python群:619417153

欢迎关注简书,star项目!谢谢!

你的关注支持是我继续分享前进的动力。