/logcollect

日志收集系统

Primary LanguageGo

日志收集系统

系统由etcd进行配置管理,总共包含两部分。

一部分是日志收集客户端logagent,负责将指定日志文件中的消息收集到消息队列kafka

一部分是日志收集中转服务logtransfer,负责将日志消息从消息队列取出来,进行处理后再发给存储系统elasticsearch

运行服务时,需要进入各自目录,修改configs.yml配置,然后再执行,服务运行无先后顺序。

说明

系统有些地方采用了精简写法,没有做到足够抽象,一切都是为了让项目足够简单。

比如消费者组的group id是直接在代码中指定的,没有做成可配置化。

这些都可以根据自己的需求,自行优化。