spiderBeautifulGirl
Install BeautifulSoup
如果你用的是新版的Debain或ubuntu,那么可以通过系统的软件包管理来安装:
$ apt-get install Python-bs4
Beautiful Soup 4 通过PyPi发布,所以如果你无法使用系统包管理安装,那么也可以通过 easy_install 或 pip 来安装.包的名字是 beautifulsoup4 ,这个包兼容Python2和Python3.
$ easy_install beautifulsoup4
$ pip install beautifulsoup4
More information BeautifulSoup
IP
Support for one page
spider.py是针对真个网站进行分析,获取图片,但是你可能发现某一位很好看,增加对单个美女的图片获取。 分析单个美女的网页链接 'www.mmjpg.com/mm/\d+'。
python3 onePage.py 'www.mmjpg.com/mm/页面数字'
Update Something
spider school
Request
- requests
- bs4
Do
- 完成个人全部成绩的爬取
- 增加个人信息
文件夹外面的代码
asynci-spider 需要3.5.3以上的版本, aiohttp的支持