Python爬虫使用Scrapy框架抓取了豆瓣新片榜内的电影信息
初始化创建Scrapy工程: scrapy startproject dbnewmovie
并创建spider: scrapy genspider movie movie.douban.com/chart
目录结构:
├── scrapy.cfg
│
└── dbnewmovie
....├── items.py
....├── middlewares.py
....├── pipelines.py
....├── settings.py
....├── init.py
....│
....└── spiders
........├── movie.py
........└── init.py
在dbnewmovie/items中创建了四个field
分别存储电影名字、电影评分、点评人数、电影链接
最后将其写入movie文件