/jdcrawler

京东scrapy + tkinter

Primary LanguagePython

jdcrawler爬取京东手机商品页面

一个由scrapy + tkinter组合而成的项目

一键安装Python运行库:

pip3 install -r requirements.txt

注意,本项目使用了mongodb作为主要数据库,建议提前安装mongodb

使用方法

运行jdcrawler里的main.py运行scrapy框架进行京东页面的爬取 image

等待运行完成后,可以在info.csv里,或mongodb的jdcrawler[jdphone]中看到数据 image image

之后,运行tkinterpart下的main_page.py文件,可以看到图形化的商品信息界面如下图所示 image

可以对商品做出筛选(逻辑还不够完善),也可以查看商品的图片,并保存在img文件下

之后会添加其他的商品(比如显卡),并且采用即使请求即使呈现的方式(其实其中显示图片的那个部分就是这个形式,效果也非常不错),不像现在是先获取数据再进行处理,主要是scrapy的框架不太好把tkinter嵌合进去,还是用request方便