austin项目核心功能:统一的接口发送各种类型消息,对消息生命周期全链路追踪
项目出现意义:只要公司内有发送消息的需求,都应该要有类似austin
的项目,对各类消息进行统一发送处理。这有利于对功能的收拢,以及提高业务需求开发的效率
austin项目核心流程:austin-api
接收到发送消息请求,直接将请求进MQ
。austin-handler
消费MQ
消息后由各类消息的Handler进行发送处理
Question :为什么发个消息需要MQ?
Answer:发送消息实际上是调用各个服务提供的API,假设某消息的服务超时,austin-api
如果是直接调用服务,那存在超时风险,拖垮整个接口性能。MQ在这是为了做异步和解耦,并且在一定程度上抗住业务流量。
Question:能简单说下接入层做了什么事吗?
Answer:
Question:austin-stream
和austin-datahouse
的作用?
Answer:austin-handler
在发送消息的过程中会做些通用业务处理以及发送消息,这个过程会产生大量的日志数据。日志数据会被收集至MQ,由austin-stream
流式处理模块进行消费并最后将数据写入至austin-datahouse
Question:austin-admin
和austin-web
和austin-cron
的作用?
Answer:autsin-admin
是austin
项目的前端项目,可通过它实现对管理消息以及查看消息下发的情况,而austin-web
则是提供相关的接口给到austin-admin
进行调用(austin项目是前后端分离的)
业务方可操作austin-admin
管理后台调用austin-web
创建定时发送消息,austin-cron
就承载着定时任务处理的工作
目前引用的中间件教程的安装姿势均基于Centos 7.6
(完全部署所有的服务,大概8G内存),austin项目强依赖MySQL
/Redis
/Kafka
/apollo
,弱依赖prometheus
/graylog
/flink
/xxl-job
。如果缺少相关的组件可戳:安装相关组件教程。
1、austin使用的MySQL版本5.7x。如果目前使用的MySQL版本8.0,注意改变pom.xml
所依赖的版本
2、填写application.properties
中austin-database
对应的ip/port/username/password
信息
3、执行sql
文件夹下的austin.sql
创建对应的表以及插入测试数据
4、填写application.properties
中austin-kafka
对应的ip
/port
信息
5、填写application.properties
中austin-redis
对应的ip
/port
信息
6、检查apollo
的app.id
/apollo.bootstrap.namespaces
,检查创建的消息队列topic:austin.business.topic.name
7、以上配置信息都在application.properties
文件中修改。
8、由于使用了Apollo且我是在云服务器上安装的,我这边会直接跳过metaserver
服务发现,在AustinApplication
需要配置对应的apollo地址(注意端口!)
9、发送渠道账号的信息都配置在apollo,配置的示例参照com.java3y.austin.support.utils#getAccount
中的注释
10、调用http接口com.java3y.austin.web.controller#send
给自己发一条短信或者邮件感受
curl -XPOST "127.0.0.1:8080/send" -H 'Content-Type: application/json' -d '{"code":"send","messageParam":{"extra":null,"receiver":"13719333899"},"messageTemplateId":1}'
11、austin前端管理系统部署(一分钟即能打开),戳GitHub或Gitee查看
12、正常使用数据管理(查看实时数据链路下发)需要将austin-stream
的jar
包上传至Flink
,根据部署文档启动Flink。在打jar
包前需要填写com.java3y.austin.stream.constants.AustinFlinkConstant
中的redis
和kafka
的ip/port
(注:日志的topic在application.properties
中的austin.business.log.topic.name
。如果没有该topic,需要提前创建)
13、正常使用定时任务需要部署xxl-job
,根据部署文档启动xxl的调度中心,并在application.properteis
中填写 austin-xxl-job-ip
和austin-xxl-job-port
14、正常使用分布式日志采集需要部署graylog
,根据部署文档启动graylog
,并在application.properteis
中填写 austin-grayLog-ip
14、正常使用系统监控需要部署promethus
和grafana
,根据部署文档配置grafana
图表
- Maven+SpringBoot项目搭建
- logback日志记录项目运行时信息,引入common/guava/Hutool/Lombok/fastjson/OkHttp工具包
- 接入腾讯云渠道发送一条短信
- 使用SpringData JPA将短信发送记录存储至MySQL
- 使用SpringBoot接入Kafka
- 利用责任链完成对接入层的请求进行封装(责任链模式)
- 消费层实现数据隔离(线程池:生产者与消费者模式)
- 通用去重消息功能(SpringBoot接入Redis并使用pipeline减少网络请求)
- 配置服务器和docker容器以及SpringBoot应用的监控(prometheus+Grafana+auctuator)
- 接入分布式配置中心完成 丢失消息、白名单以及账号配置(Apollo分布式配置中心)
- 邮件渠道接入
- 日志链路数据追踪 + 注解式打印日志(优雅打印日志以及数据埋点)
- 接入GrayLog分布式日志收集框架
- 引入前端低代码平台AMIS搭建后台管理页面
- 接入分布式定时任务框架定时发送任务(xxl-job定时任务框架),编写上传文件接口并使用LazyPending批处理人群文件数据
- 接入实时流计算平台(Flink),实时日志数据根据用户维度和消息模板维度清洗至Redis
- 通过AMIS低代码平台接入echarts图表展示实时聚合后的数据
- 优雅停机、动态线程池参数配置
- 企业微信渠道接入
- 夜间屏蔽次日早晨推送(xxl-job定时任务框架,另类的延时队列)
- 钉钉渠道接入
- 工作流引擎实现对消息工单审核
- 优化代码
- 接入微信服务号渠道
- 接入微信小程序渠道
- 接入PUSH渠道
- 持续提高消息推送系统的影响力,让更多的业务方了解其功能,进而挖掘更多拉新和唤醒用户的玩法,提高站内的次留率和转化率
近期更新时间:2022年3月30日
近期更新功能:钉钉群自定义机器人与工作消息渠道接入完成
欢迎扫描下方二维码添加我的个人微信备注:【项目】,我会空闲的时候拉进项目交流群(群里会解答相关的问题)
Java3y公众号在持续更新austin系列文章,保姆级讲解搭建项目的过程(包括技术选型以及一些业务的探讨)以及相关环境的搭建。扫下面的码直接关注,带你了解整个项目
如果你需要用这个项目写在简历上,强烈建议关注公众号看实现细节的思路。如果⽂档中有任何的不懂的问题,都可以直接来找我询问,我乐意帮助你们!公众号下有我的联系方式
对线面试官公众号持续更新面试系列文章(对线面试官系列),深受各大开发的好评,已有不少的同学通过对线面试官系列得到BATTMD等一线大厂的的offer。一个讲人话的面试系列,八股文不再是背诵。
想要获取这份电子书,点击关注下方公众号,回复「对线」得到我的联系方式即可进群获取电子书