/DBNewMovie

Python爬虫使用Scrapy框架抓取了豆瓣新片榜内的电影信息

Primary LanguagePython

DBNewMovie

Python爬虫使用Scrapy框架抓取了豆瓣新片榜内的电影信息

初始化创建Scrapy工程:       scrapy startproject dbnewmovie
并创建spider: scrapy genspider movie movie.douban.com/chart

目录结构:
├── scrapy.cfg

└── dbnewmovie
....├── items.py
....├── middlewares.py
....├── pipelines.py
....├── settings.py
....├── init.py
....│
....└── spiders
........├── movie.py
........└── init.py

在dbnewmovie/items中创建了四个field
分别存储电影名字、电影评分、点评人数、电影链接
最后将其写入movie文件