/gohs-ladon

A service for thousands regex finder with Intel's hyperscan.(海量正则快速匹配,给定一行字符串,能够从海量的正则里快速匹配到是否有符合条件的正则)

Primary LanguageGo

gohs-Ladon

Build Status
基于Intel开源的hyperscan实现的GO版本的一个服务, 取名ladon(拉冬),希腊神话中表示百头巨龙。给定一行文本,能够从海量的正则表达式中快速查询出命中了哪些正则,还可以返回该正则附加的一些数据。下方有简单的性能压测,5W个正则,匹配上只需要1ms.
使用这个服务,如果你能维护足够完善的正则数据,就能实现一个 伪智能AI,可以理解你的各种语义,然后去做对应的处理。当然,具体能玩成什么样子,就看大家发挥了.

Links

使用示例

例如,给出一个正则文本: 第一列是唯一id, 第二列是正则表达式, 第三列是附加数据

1	^[你|叫|什么|的|是]*名字[你|叫|什么|的|是]*$	{"type:"name", "user":"you"}
2	^[唱|一首|来]*歌[曲|吧|啊]*$	{"type":"song", "name":"random"}
3	^[唱|一首|来]*东风破[的|歌|歌曲|吧|啊]*$	{"type":"song", "name":"东风破"}

启动服务

./gohs-ladon --filepath=patterns/pattern2.txt
[2017-12-20T06:50:50Z] Hs-service 0.0.1 Running on 0.0.0.0:8080

通过服务查询

curl "http://127.0.0.1:8080/?q=你叫什么名字"

返回json,表明命中了第一条正则,并返回了正则文件中的附加数据
{
    "Errno": 0,
        "Msg": "",
        "Data": [
        {
            "Id": 1,
            "From": 0,
            "To": 18,
            "Flags": 0,
            "Context": "你叫什么名字",
            "RegexLinev": {
                "Expr": "^[你|叫|什么|的|是]*名字[你|叫|什么|的|是]*$",
                "Data": "{\"type:\"name\", \"user\":\"you\"}"
            }
        }
    ]
}

Benchmark

比如pttern3.txt中是随机生成了50000个邮箱地址,作为正则表达式,邮箱中的点就表示任意一个字符,所以也算是比较简单的正则了。

49991   hwkida@nyveoiwv.net teststring
49992   hjrsiphq@uihseu.net teststring
49993   jeybcfgme@vjomrn.com    teststring
49994   nnthiprbwf@ebpflgne.net teststring
49995   zgsisvddx@mayvf.com teststring
49996   krfwdfwcq@uczmm.net teststring
49997   lzfsw@coikdq.net    teststring
49998   wgaoakpixs@pptizfkr.org teststring
49999   gfthpo@qpxknsku.net teststring
50000   jsxdxlq@cliijbqaqx.org  teststring

比如这条结果,就是一个正则匹配的结果.

以10并发压10w次,得到的结果如下:

可以看到,平均响应时间只有1ms,这还基本都是网络开销,正则查找本身其实只有几十µs。

使用

该库使用需要安装hyperscan的类库,安装步骤比较繁琐,可以参考我hyperscan的一个Docker镜像的Dockerfile进行安装。 如果有Docker环境的话,git clone代码后,可以在代码根目录下直接执行make build,就会将编译完的二进制放在代码根目录下了。

使用./gohs-ladon -h可以查看帮助文档.

$ ./gohs-ladon -h
Gohs-ladon Service 0.0.1

Usage:
gohs-ladon [flags]

Flags:
    --debug             Enable debug mode (default false)
    --filepath string   Dict file path
    --flag string       Regex Flag (default "iou")
-h, --help              help for gohs-ladon
    --port int          Listen port (default 8080)

TODO

  • 增加动态加载字典逻辑。自动检测,当字典文件发生变化时,进行自动build.
  • 完善英文Readme