第一版地址 第一版采用了多线程优化爬虫速度,个人觉得代码不够优雅。
第二版改造了程序运行方式,以异步协程为主
- Python 3.5
- Tornado 协程库
- BeautifulSoup
- PyMySQL, SQLAlchemy
- 全局日志
- 生产者/消费者队列
- 异常,错误处理
- HDU OJ Spider
- BNU OJ Spider
- Codeforces Spider
- PKU OJ Spider
- ZJU OJ Spider
- UVA OJ Spider
- HUST Virtual Judge Spider
- BestCoder Spider