/sucker

python编写的大数据采集器

Primary LanguagePython

sucker

章鱼系统数据采集器! 文件吸盘系统,用于监控指定目录是否有新增文件,当检测到监控目录下有新增文件时自动将新增文件上传到配置的远程服务器,实现文件数据的采集。 就像章鱼的吸盘一样,源源不断的将所需要的数据文件传至指定的目标系统,进入章鱼系统的数据海洋。 文件吸盘系统采用队列(先进先出)的处理机制,高效的对各类文件进行摄取! 此系统短小精悍,支持跨平台(适用于windows和unix/linux),只有sucker.cfg(用于常规配置)和sucker.py(实现核心功能)两个文件。

抓数据?用sucker吸它!