毕业设计课题——电影推荐系统
该仓库只用于自己的学习及开发记录,如涉及侵犯个人或团体利益,请与我联系,我将主动撤销一切相关数据,谢谢!
该仓库中所爬取的一些数据集仅限用于学习研究目的,我不能保证数据的正确性以及任何场景的适用性。对于使用这份数据的其他用户,必须严格遵循下列条件:
- 未经许可,用户不得将此数据集用于任何商业或收入交易用途。
- 未经单独许可,用户不得重新转发数据。
- 用户在使用数据集时,必须声明数据来源。
在任何情况下,我均不对因使用这些数据而造成的任何损失承担责任(包括但不限于数据丢失或数据不准确)。如果您有任何其他问题或意见,请发送电子邮件至: iampengchenyu@163.com
本项目为对豆瓣电影、IMDb电影等网站的爬虫项目。使用的框架为Scrapy,并使用MySQL保存数据。
爬取的内容包括:电影基本详细信息、电影评论信息,用户评分信息等。经清洗后,电影数为8319条,评论信息105w+条。
如需了解代码实现详情,请参阅该文件夹下DouBanSpider下的README文件。
Scrapy官方文档:https://docs.scrapy.org/en/latest/
购买的快代理:https://www.kuaidaili.com/pricing/#tps
本项目为数据的处理、清洗、分析项目。
数据处理:
拆分表结构、清洗无效数据
数据分析:
用户评论词云图:使用WordCloud库对每条电影的评论生成了词云图,并已上传
如需了解详情,请参阅该文件夹下的README文件。
本项目为电影推荐系统的后端项目。
开发框架:SpringBoot
计算框架:Spark
综合利用统计推荐、内容推荐、离线推荐、实时推荐等推荐算法为用户推荐合乎自己喜好的电影!
如需了解详情,请参阅该文件夹下的README文件。
本项目为电影推荐系统的前端项目。
开发框架: Vue 2.6
如需了解详情,请参阅该文件夹下的README文件。