voyage-ing/allitebooks_spider

用Scrapy爬取http://www.allitebooks.org/ 网站上所有的电子书的相关信息。

Scrapy 爬虫

环境详情

asn1crypto==0.24.0 
attrs==19.1.0
Automat==0.7.0
cffi==1.12.3
constantly==15.1.0
cryptography==2.7
cssselect==1.0.3
fake-useragent==0.1.11
hyperlink==19.0.0
idna==2.8
incremental==17.5.0
lxml==4.3.4
parsel==1.5.1
Pillow==6.0.0
pyasn1==0.4.5
pyasn1-modules==0.2.5
pycparser==2.19
PyDispatcher==2.0.5
PyHamcrest==1.9.0
pyOpenSSL==19.0.0
queuelib==1.5.0
Scrapy==1.6.0
service-identity==18.1.0
six==1.12.0
Twisted==19.2.1
w3lib==1.20.0
zope.interface==4.6.0

爬取对象

http://www.allitebooks.org/

Scrapy 爬虫框架

详情见代码，仅供新手学习使用。

爬取结果