Auto_Extract_Crawl 开发具有一定通用性的爬虫，自动爬取给定种子库的内容并进行信息抽取。 批量爬取 自动解析 去重 监控 对种子库中的列表页进行自动识别:利用dom tree特征进行主列表页识别，并抽取详情页URL，使用Redis进行详情页去重； 对详情页进行批量爬取； 自动解析详情页中的信息：如标题、正文、发布时间等元素，并使用MongoDB进行存储； 利用模板检测监控爬虫运行情况。