/get_taobao_data

python: selenium + sqlite3 爬虫,实现将淘宝网站数据、1688网站数据的爬取,并保存到数据库中

Primary LanguagePython

*** get_taobao_data ***

淘宝网站:

auto_taobao.py 是使用 selenium 框架直接操纵浏览器进行数据爬取

requests_02.py 是使用 requests 框架进行数据的爬取,里面的 header 需要从自己的浏览器去复制粘贴过来

1688网站:

在 ./sqlit_spider 文件夹下的 get_1688_to_sqlite3.py 是主体程序,直接运行就可以爬取数据

sqlite3_model.py 是 sqlite3 数据库模型文件

其他的是一些测试文件