a simple web crawer.It can download web files with specific format. and craw web content that matched key words and write into files.
Primary LanguageGo
这是用golang开发的一个爬虫程序，它具有以下几个功能：
1.爬取指定格式的文件； 2.对html中的文本进行关键词匹配，并保存文本信息； 3.并发的广度搜索，可以设置挖掘深度。