/get_taobao_data

python: selenium + sqlite3 爬虫,实现将淘宝网站数据、1688网站数据的爬取,淘宝爬虫\1688爬虫;并保存到数据库中

Primary LanguagePython

*** selenium 网络爬虫1688、淘宝网站 ***

注意 使用selenium爬虫需要下载对应的浏览器驱动,点击下载chrome浏览器驱动详细教程

淘宝网站:

auto_taobao.py 是使用 selenium 框架直接操纵浏览器进行数据爬取, 在该文件的27行的函数参数需要自己手动填写需要进行搜索的商品名称,填完之后运行即可自动爬取~

./测试文件/requests_02.py 是使用 requests 框架进行数据的爬取,里面的 header 需要从自己的浏览器去复制粘贴过来

1688网站:

在 ./sqlit_spider 文件夹下的 get_1688_to_sqlite3.py 是主体程序,直接运行就可以爬取数据

sqlite3_model.py 是 sqlite3 数据库模型文件

其他的是一些测试文件