multipipelines
multipipes
is a simple Go module to create pipelines to process data.
适合场景:
数据需经过多个阶段处理,每个阶段耗时不同,应使用不同的并发处理
两个核心对象:
Node:一个任务组(func),
Pipeline:多个不同任务组成的管道
使用方法:
1. 定义Nodes,即,数据处理过程中需要用到的方法
2. 定义Pipline
3. 执行Setup方法,Pipline两端注册两个 indata,outData(可选),都是Node类型
4. 执行Start方法
详细使用方法参考pipline_test.go