/GetLegoManual

python爬虫学习,爬了乐高官网的说明书,给自己写点用得上的东西

Primary LanguagePython

GetLegoManual

python爬虫学习,第一次写,能用而已,随心情也许会优化,一般来说都抓完了估计懒得动

爬取了 https://www.lego.com/zh-cn/service/buildinginstructions 所有说明书的白底官图和V29的PDF,没有V29的就把其他格式的都抓了,存在个别官网缺图或者pdf的情况,很少就没去研究。目前只做了单线程,其实可以多个一起,主要是方便debug。目前lego官网抓包还是很友好的。如果开多线程不清楚

拿去直接用的亲,抓出来总共需要83G硬盘,整整8~10个钟头,玩的愉快

python我是小白,目前廖雪峰的教程断断续续刚看完常用内置函数,欢迎大牛留下review comment。