主要保存个人在爬虫实战中编写的代码,每次实战分析过程均记录在我的博客里。
实战专栏:CSDN 爬虫实战专栏、个人博客爬虫实战专栏
基础训练:
-
猫眼电影TOP100 【requests、lxml、Xpath、CSV】
-
豆瓣电影TOP250 【requests、lxml、Xpath、正则表达式、CSV、二进制数据储存】
-
安居客武汉二手房 【requests、Beautiful Soup、CSV、列表操作、分页判断】
-
虎扑论坛步行街 【requests、Beautiful Soup、数据库 MongoDB】
-
瓜子全国二手车 【requests、Cookie、XPath、数据库 MongoDB】
Selenium:
反反爬虫:
- 58同城武汉出租房 【网站加密字体、requests、Beautiful Soup、数据库 MySQL】
爬虫 + 数据可视化:
-
COVID-19 肺炎疫情数据实时监控 【openpyxl 表格操作、pyecharts 数据可视化、wordcloud 词云图】
-
前程无忧招聘信息爬取 【requests、Xpath、正则表达式、数据库 MongoDB、Numpy、Pandas、Matplotlib】