/tb_collection

淘宝数据采集 分布式架构,涉及app端及pc端

Primary LanguagePython

tb_collection

淘宝 分布式数据采集

master端:cookiePool 包含了cookie池以及访问后台以及api,请求制作

slave端:tb_collection 爬虫程序,可以拓展到多个机器上

代码比较粗糙,里面还有很多bug 以及可优化的地方,欢迎各位朋友交流指正