获取南京市各电影院在各平台上的电影票价。 项目使用Node.js实现,利用request、cheerio爬取网页,MongoDB存储数据,express+ejs做页面展示。
目前已经获取了淘宝电影、百度糯米、美团、大众点评的电影票价。 因为美团的网页上的票价全部以图片形式展现,目前只能先获取整个票价部分的HTML展现出来。
- 微票电影网页改版,似乎已全部移到移动端,原先的爬取方法失效,放弃微票电影的爬取。
- 美团票价改为从猫眼移动端网页爬取,通过分析HTML与CSS,成功从HTML中提取出票价数字。
- 首页添加场次,并按照场次排序。
新增了大众点评的电影票价。
新增了微票儿的电影票价。
- npm install
- node app.js运行网站
- 在浏览器中打开http://localhost:3030/cinemas/manage 添加影院
- 爬虫在scraper文件夹下,node index.js开启爬虫(已设置为每日固定时间爬取)
- 由于各平台上的影院名称不一致,直接通过程序匹配比较复杂,所以目前只能手动添加和输入各平台的影院ID。
- 各平台上的电影名称偶尔也会不一致,只能在发现不一致后在代码中加上判断。
- 频繁请求网页会返回输入验证码的页面,目前只是降低了请求频率,没有解决IP访问限制的问题。
- 因为当时写的匆忙,技术上也有所欠缺,所以还有不少没考虑好的地方。以后有空了会继续完善。
- 电影列表
- 影院管理
- 电影票价