此文件共两个项目,demo2和spider。demo2是我维护博客过程中帮助自己减轻工作量而写的一个爬虫程序,spider项目为python爬虫的一个小练习。
由于我的csdn博客和liuchuo.net博客上有一些代码并不对应,所以写了一个爬虫查找所有不对应的博客文章并输出markdown表格。
-
爬取csdn上所有PAT甲级的文章,并将结果返回在item_list
-
爬取liuchuo.net上所有PAT甲级的文章,并将结果返回在item_dict
-
获取csdn博客上所有PAT甲级文章的代码片段,并将代码中的空格去除
-
获取liuchuo.net上所有PAT甲级文章的代码片段,并将代码中的空格去除
-
比较csdn和liuchuo.net的代码,将代码不相同的文章列表用markdown语法以表格的形式输出到outpud.md文件中
(乙级同理,只需将代码中的关键词“甲级”改为“乙级”)
spider_main.py:爬虫总调度程序
article.py:Article类,包括题解id、标题、URL和代码
output.md:输出的markdown格式的表格文件
从文章中的某一个页面,爬取其页面的a标签,用正则匹配将所有爬取的页面中符合http://www.liuchuo.net/articles/ 形式的链接提取为待爬取的URL,将文章页面的标题h1标签和时间time标签分别存储在data字典的title和time中,将url、title和time以表格形式输出到html页面
spider_main:爬虫总调度程序
url_manager:URL管理器
html_downloader:html网页下载器
html_parser:html网页解析器
html_outputer:html网页输出器
output.html:运行输出的结果,以html代码格式写入html文件中