/spider

爬虫

Primary LanguagePython

spiderBeautifulGirl

Install BeautifulSoup

如果你用的是新版的Debain或ubuntu,那么可以通过系统的软件包管理来安装:

$ apt-get install Python-bs4

Beautiful Soup 4 通过PyPi发布,所以如果你无法使用系统包管理安装,那么也可以通过 easy_install 或 pip 来安装.包的名字是 beautifulsoup4 ,这个包兼容Python2和Python3.

$ easy_install beautifulsoup4

$ pip install beautifulsoup4

More information BeautifulSoup

IP

西刺代理

Support for one page

spider.py是针对真个网站进行分析,获取图片,但是你可能发现某一位很好看,增加对单个美女的图片获取。 分析单个美女的网页链接 'www.mmjpg.com/mm/\d+'。

python3 onePage.py 'www.mmjpg.com/mm/页面数字'

Update Something

spider school

Request

  1. requests
  2. bs4

Do

  1. 完成个人全部成绩的爬取
  2. 增加个人信息

文件夹外面的代码

asynci-spider 需要3.5.3以上的版本, aiohttp的支持

如果感觉可以学到思路,给个star吧!