用Scrapy框架爬取宁波日报近期本地新闻,并把新闻保存在mongodb,保存在本地文件夹中,保存为json
环境:
PyCharm 2018.3.5 (Professional Edition)
Scrapy 1.5.1
Python 3.7.0
newspaper3k 0.2.8
scrapy startproject cnnb
scrapy genspider nbnews cnnb.com.cn
在项目目录中的settings.py文件中加上mongodb的信息。
mongo_host = 'localhost'
mongo_port = 27017
mongo_user = 'root'
mongo_passwd = '1997'
mongo_db_name = 'crawler'
mongo_db_collection = 'nbnews'
在pipelines.py中加入mongodb的操作语句,以及保存为txt的语句。scrapy自带保存为json、scv、xml、pickle、marshal,自带ftp远程输出。
scrapy自带xpath和css选择器,不需要额外使用别的库。
news_list = response.xpath('//div[@class="articleList"]//ul[@class="fiveBox"]//li//a//@href').extract()
利用scrapy自带的xpath选择器,获得新闻文章url列表。用newspaper3k库以及获得的url获得每一篇新闻的具体内容与标题。
因为pycharm不能直接创建scrapy项目,不能像Django那样直接在pycharm启动项目,所以需要通过终端来启动。在pycharm启动也是需要通过终端。
from scrapy import cmdline
cmdline.execute('scrapy crawl nbnews'.split())
保存在本地以新闻的发布时间来划分
scrapy crawl nbnews -o nbnews.json用scrapy的功能把内容输出为json
mongodb所存储的新闻信息
