系统由etcd
进行配置管理,总共包含两部分。
一部分是日志收集客户端logagent
,负责将指定日志文件中的消息收集到消息队列kafka
。
一部分是日志收集中转服务logtransfer
,负责将日志消息从消息队列取出来,进行处理后再发给存储系统elasticsearch
。
运行服务时,需要进入各自目录,修改configs.yml
配置,然后再执行,服务运行无先后顺序。
系统有些地方采用了精简写法,没有做到足够抽象,一切都是为了让项目足够简单。
比如消费者组的group id
是直接在代码中指定的,没有做成可配置化。
这些都可以根据自己的需求,自行优化。