爬取京东苏宁商品信息(手机 笔记本电脑) 以及商品的评论 然后继承到web上,实现了价格评价的比较 并且对每件商品评论进行了情感分析,绘制了评论的词云
使用scrapy爬取了京东苏宁的search页面搜索手机和笔记本电脑的信息,以及商品的详细信息,商品的图片,并且爬取了商品的评论 对于京东实现了扫码登陆,苏宁需要自己网页模拟登陆后,复制cookie到对应位置
使用vue+iview实现 将京东苏宁的商品信息展示,可以进行相似商品的价格的对比 查看评论的情感分析结果,查看评论的词云
使用django实现 实现了后端的请求接口,实现了评论的情感分析(使用snownlp),以及词云的绘制 ,后期准备针对评论训练模型,实现情感的分类。
https://ccclll777.github.io/2020/05/28/Undergraduate-Curriculum-Design/CurriculumDesign-jdsnCompare/
python语言开发后端,使用django框架(python3.7) Html+css+javascript开发前端使用vue+iview框架
###点击相关商品,进入商品列表
可以按照价格,评论数排序,并且实现了分页功能,并且不同平台的商品有着不同的标记(苏宁易购 或者京东)
可以根据品牌型号搜索,后端会自动对搜索的关键词和商品的品牌,商品的描述进行比对,选择编辑距离最小的进行输出(由于没有提前建好关键词索引,所以搜索比较慢,需要20s左右,以后加入索引可能会更快)
会查询出和这个手机型号相同或相似的手机品牌,可以进行比较
(后端实现为,先搜索品牌和型号,然后对比相似性,最后在对比商品描述的相似性,寻找相似商品)