/a-little-spider

🌈 一只叫做Python的小小爬虫~

Primary LanguagePythonGNU General Public License v3.0GPL-3.0

a-little-spider

此文件共两个项目,demo2和spider。demo2是我维护博客过程中帮助自己减轻工作量而写的一个爬虫程序,spider项目为python爬虫的一个小练习。

demo2

由于我的csdn博客和liuchuo.net博客上有一些代码并不对应,所以写了一个爬虫查找所有不对应的博客文章并输出markdown表格。

主要功能:

  1. 爬取csdn上所有PAT甲级的文章,并将结果返回在item_list

  2. 爬取liuchuo.net上所有PAT甲级的文章,并将结果返回在item_dict

  3. 获取csdn博客上所有PAT甲级文章的代码片段,并将代码中的空格去除

  4. 获取liuchuo.net上所有PAT甲级文章的代码片段,并将代码中的空格去除

  5. 比较csdn和liuchuo.net的代码,将代码不相同的文章列表用markdown语法以表格的形式输出到outpud.md文件中

    (乙级同理,只需将代码中的关键词“甲级”改为“乙级”)

文件解释:

spider_main.py:爬虫总调度程序

article.py:Article类,包括题解id、标题、URL和代码

output.md:输出的markdown格式的表格文件

spider

主要功能:

从文章中的某一个页面,爬取其页面的a标签,用正则匹配将所有爬取的页面中符合http://www.liuchuo.net/articles/ 形式的链接提取为待爬取的URL,将文章页面的标题h1标签和时间time标签分别存储在data字典的title和time中,将url、title和time以表格形式输出到html页面

文件解释:

spider_main:爬虫总调度程序

url_manager:URL管理器

html_downloader:html网页下载器

html_parser:html网页解析器

html_outputer:html网页输出器

output.html:运行输出的结果,以html代码格式写入html文件中