Freespider是一款新一代网页采集工具，它功能强大，操作简单，是专门为有数据需求的技术人员或者无编程基础的产品、运营、销售、金融、新闻、电商和数据分析从业者，以及政府机关和学术研究等用户量身打造的一款产品。
通过使用Freespider，用户能够快速、准确、稳定地获取海量网页数据，从而彻底解决了人工收集数据所面临的各种难题，降低了获取信息的成本，提高了工作效率。
- Python 3.8+
- Linux, Windows, macOS
- demo.json 采集配置演示文件，可通过 spiderHelper 生成;
- main.py 采集模块;
- proxy.py 代理模块;
- store.py 存储模块;
- extract.py 内容提取模块。
python -u main.py demo.json
该项目在 MIT 许可下获得许可 - 请参阅LICENSE 文件了解详细信息
欢迎投稿！
暂无