potapo/web-crawl

小爬虫啦

web-crawl

小爬虫啦

python3使用协程实现，并且使用余弦定理去计算url相似性，将网页结果保存到mongodb

python2 使用多线程实现，并且使用余弦定理去计算url相似性