/koala

koala通用频率控制系统,一个应对所有频次控制高度配置化的通用反作弊系统(规则引擎),高性能可扩展。 (the require golang >= 1.0)

Primary LanguageGoMIT LicenseMIT

Koala - 通用频率控制规则引擎系统介绍

作者:黑夜路人(heiyeluren)

欢迎各位喜欢Koala的技术伙伴给本软件点一个“Star”,也希望能够共同交流!


Koala 是什么?

Koala系统,也叫“用户行为频率控制系统”。它是用GO语言开发的高性能后端独立服务,独立的规则引擎+计数器,采用redis缓存用户行为数据。初衷是支撑线上业务的多种用户行为频率控制需求,属于反作弊功能的一个组成部分。同时,它将控制策略完全配置化,koala系统本身不和业务策略直接耦合,提供http接口供业务方访问,故通用性较强,也适用于各类UGC产品的同类需求,并且性能高超。

什么时候你需要Koala?

image

Koala技术特性:

  • 独立运行的高性能后端服务
  • 纯Go语言实现、对外提供HTTP接口。
  • 关注频率控制,但不耦合任何业务
  • 高度灵活的策略配置
  • 策略配置自动更新
  • 高效率日志缓冲处理



Koala应用场景

  • 基本模式

既然用redis缓存用户行为数据,就意味着,每次操作,都涉及对redis中缓存数据的,读和写。因此,koala目前提供的主要服务接口,就是browse和update。

每次用户操作,首先要调用browse接口,来确认“是否允许用户的这一次操作”。

如果被“允许操作”,操作完成后,再调用update接口,将缓存计数值+n。

  • 应用场景

koala最初是为了满足互联网产品以“提交”为主的频率控制。而实际上,koala既不是为“提交(写)”操作设计的,也不和业务融合。

基本的“提交”场景,如:一次用户“提问”操作,首先,将特征数据提供给koala,查询koala系统以确认此次“提问”的否允许执行;通过后,才进行提交内容的入库落地,成功以后,将此次行为记录。“提问”过程最终完成。

  • 更多的应用场景

比如:A产品,需要知道某个用户在某个特定的页面,是否做了某个选择(给某个帖子投票等,如果选择了,希望按钮“置灰”),cookie等方式自然就不可行了。如果使用koala,需要配置一项规则:

“每个user_id对每个帖子,X时段内,只能点1次W操作”。

再比如:

“u用户,X时段内,Y广告弹窗,不超过1次”

“两次Y广告弹窗,至少间隔2小时”

“u用户,X时段内,积分增长,不超过300分”

“某IP,X时段内,发帖超过10次,需要出验证码”

……

Koala如何为业务服务:

通常在论坛等“用户提交类产品”中,面对各种垃圾灌水的威胁,PM会提出诸如“每个用户每天只能回帖100次”、“两次回帖至少间隔10秒”等等的反作弊需求,而最直接的做法,就是在服务端逻辑里写上“if(submit > 100) return false;”。

产品经理永远不会满足于当前的功能,当需求越来越多,逻辑也就越来越复杂。

当然大部分人都会想到封装,将此类功能封装到一个模块中,可维护性更高了。但是,如果没有一个比较抽象的配置文件,控制策略就会散落在代码中而不易管理;而且分布在web后端众多机器中,仅依靠同步代码来同步策略。

koala系统的引入,将这些策略统一收集到一个独立的后端服务中。所有web服务器通过访问koala服务器来完成控制功能。

并且koala系统实现了比较通用、又比较灵活的“策略配置化”能力。需要的变更,只需要对配置文件进行修改。

koala系统同时也以“高性能”为目标之一。采用GO语言实现,一方面可以有接近“脚本语言”的开发效率,另一方面有可以有接近C语言级别的性能指标。GO语言本身也是以“高并发”、“高性能”为设计目标。

并且常驻内存的demon进程,也使我们拥有了在进程地址空间内对关键数据进行缓存的能力,对性能将是有力的支撑。

有了高性能的支撑,koala不仅仅应用在“提交”操作(写操作)。比如请求量较大的“浏览”操作(读操作),也可以应用,以应对各种恶意抓取行为。

Koala 控制策略配置使用:

我们通过一条策略,作为示例,不关注的可以忽略。

#提问,同IP,超过30次后,每次提问间隔2秒

rule : [base] [act=add_ask;ip=+;] [base=30; time=2; count=1;] [result=2; return=224]

为了高度灵活的配置频率策略,我们制定了如上所示的格式。

用[ ]分割的几个段,分别是“方法”、“参数”、“阀值”、“返回值”4个区域。

  • 方法:代表策略的类型,采用一种什么控制模式,如上面的例子,就是一种有“基数”的策略,提交超过“基数”之后才会生效。
  • 参数:是满足此策略的必要条件,一般是,某个参数满足某个范围,或者等于某些特定值。这些参数通过http get参数提供给koala系统。
  • 阀值:定义的特定方法模式下,需要的条件值,time,和count是基本的值,代表缓存有效期,计数上限,而base则是值。
  • 返回值:代表此策略名中之后,应该采取的行为,比如“阻止提交”、“出验证码”。

通过这种多维度、较灵活的配置格式,提供的较大的配置能力。保证一段时期内,新的需求完全通过修改配置来实现。

同时,我们又实现了“配置的动态更新”。因为配置被读取到内存中长期保存,我们通过检测相关文件的MD5值变化,读取并解析到内存中,采用0/1覆盖的方法,替换内存中现有的配置数据。所以,不需要加入锁操作。 通过这些设计,我们在享受更高性能的同时,也可以像php开发一样,直接替换文件,就可以让策略生效。

更多使用参考文档: https://github.com/heiyeluren/koala/tree/main/doc




Koala 工作机制:

  • 使用调用流程 image

  • Koala并发模型:

    • 单进程,多线程,多协程。
  • Koala 核心模块:

    • http-front: 路由
    • Logger: 日志库,日志缓冲
    • Redigo: go版redis库,连接池支持
    • 其他:守护进程机制、便利调试
  • 性能数据:

    • 单机稳定 1w+ QPS/秒
    • 2核CPU、线上95% cpu idle,500M内存占用
  • 高性能原因

    • Go本身固有的高性能
    • I/O 最小化
    • Redis访问最小化
    • 更多内存数据
Koala内外部框架

koala系统采用的GO语言http服务的模式,很容易用于以后的GO开发项目中。姑且将这些称为一个“GO框架”。

  • http框架

采用了一个开发并长期使用的一个http模块,清晰、实用。 此http模块,实现了“http包解析”、“http包封装”、“路由”等等必要的功能。提供了http接口的快速开发能力。

本次koala基本沿用了此模块,只是补充了“获取client IP”的api。

  • log模块

日志模块,是本项目中,新开发的模块。 主要实现了“日志分级”、“日志切割”、“日志合并写入”等功能。 有丰富的日志配置项。可以分别配置每个日志级别的“目标文件”、日志切割周期、日志输出开关等

应用GO语言的channal,我们实现了对日志的“缓存”、“合并写”;有多种策略控制日志写入文件的时机。

  • redis库

引入了一个比较完善的redis客户端的GO语言实现,提供了redis的大部分特性,同时还实现了redis连接池,对服务本身的性能有很大的帮助。

koala 内部结构:

koala服务,是单进程,多线程,多协程(goroutine)结构模式。

图1 image

其总体结构如图1所示。

图中,http front、worker、logger、rule loader分别都是一个GO协程,GO语言内部实现了轻量级的协程goroutine,每个goroutine有独立的运行栈,被进程的“运行时包”调度执行,依附于OS线程运行。

  • httpFront负责监听并接受连接,解析http参数,并定位到特定的接口函数执行,每个请求,都起一个独立的协程,代表一个worker。

  • logger除了提供log相关API之外,更主要的是包含了一个log缓冲的协程。

  • RuleLoader是提供控制策略自动加载的独立协程。

Koala 核心算法实现机制:

核心统计算法工作机制参考: https://github.com/heiyeluren/koala/blob/main/doc/README.md




Koala 总结与展望

Koala 的开发,很大一部分工作是实现对策略配置的解析,以及配置的自动load功能。而服务接口逻辑相对简单,因为很多事情,交给配置来定义了。配置语法中包含了“关键词”、“操作符”,俨然就是一个微型语言。但语法分析器之类的高级货就有点杀鸡用牛刀的意思了。简单考虑,仅用基本的条件判断if-else来实现,显得比较笨拙。

目前koala已经完成了web业务的迁移,正在为提供用户行为相关的控制。面对目前每天大约2000万+次的请求调用,koala基本可以轻松应对。

从易用性的角度看,koala尚有一些不足,比如,缺少一个图形化的策略更新平台,这方面,可以补充开发一个管理后台页面,实现策略的“查看”、“上传”、“正确性验证”。

从通用性的角度来说,koala目前已经可以支持线上多个产品的同时应用,表现性能稳定性也非常不错,当然还有很多需要更进一步的优化改进。

百尺竿头,更进一步。



Koala 使用 & 技术交流

欢迎各位喜欢Koala的技术伙伴给本软件点一个“Star”,也希望能够共同交流!


Koala快速了解

https://github.com/heiyeluren/koala/blob/main/README.md

想直接运行体验Koala服务请参考文档:

https://github.com/heiyeluren/koala/tree/main/output

想要了解Koala强大功能可以参考现有规则配置文件(感受一下如何配置和Koala规则引擎的强大功能)

https://github.com/heiyeluren/koala/blob/main/doc/Koala%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6%E6%A0%B7%E5%BC%8F.txt

Koala核心统计算法实现速览

https://github.com/heiyeluren/koala/blob/main/doc/README.md

更多使用说明参考文档:

https://github.com/heiyeluren/koala/tree/main/doc


加入微信群交流

image


群失效可添加作者微信加群

image

Last update: 2021/5/19