a simple web crawer.It can download web files with specific format. and craw web content that matched key words and write into files.
Primary LanguageGo
这是用golang开发的一个爬虫程序,它具有以下几个功能:
1.爬取指定格式的文件; 2.对html中的文本进行关键词匹配,并保存文本信息; 3.并发的广度搜索,可以设置挖掘深度。