/spiders

爬虫实例

Primary LanguagePython

Baike-Spider

来源:慕课网的爬虫案例,做到对百度百科的和“Python”相关词条的某些内容的爬取 (手打)

PirateBay

自己写的第一个爬虫,从海盗湾下载磁力链,由于海盗湾的页面url简单,直接把要搜索的关键字放进列表,能自动爬取,放进txt里

thzbt-selenium

对动态爬虫的尝试,没用过的时候不知道这工具居然这么简单。对了,爬取的内容敏感,和谐~(平生就这么点爱好😂,不然也不会学的比别人多那么一点)

login.py

Python 自动登陆的一个demo,可以看作是爬虫自动登陆的一个尝试,通过这个脚本使我进一步了解了 HTTP的工作原理、request、headers等都有进一步了解(查了不少资料的),