Taier 太阿,是**古代十大名剑之一
Taier 是一个开源的分布式 DAG 调度系统,专注不同任务的提交和调度。旨在降低 ETL 开发成本,解决任务之间复杂的依赖关系和提交、调度、运维带来的上手成本
在 Taier 上进行 ETL 开发,不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中
Taier 提供了一个提交、调度、运维、指标信息展示的一站式大数据开发平台
核心功能如下:
- 分布式扩展
- 可视化 DAG 配置
- IDE 式开发平台
- 自定义扩展任务插件
- 向导、脚本多种模式
- 上下游依赖调度
- 支持实时、离线任务
- 支持对接不同版本的 Hadoop
- 对集群环境 0 侵入
- 多租户多集群隔离
- 支持 Kerberos 认证
- 任务多版本支持
- 自定义参数替换
- 集群资源实时监控
- 数据指标实时获取
- 任务资源限制
$ wget https://github.com/DTStack/Taier/blob/master/docker-compose.yml
$ docker-compose up -d
任务类型 | 文档说明 |
---|---|
数据同步 | 文档 |
实时采集 | 文档 |
Flink SQL | 文档 |
Spark SQL | 文档 |
Hive SQL | 文档 |
OceanBase SQL | 文档 |
自定义扩展 | 文档 |
在使用上有遇到 bug 或者优化点,强烈建议你提 issue 我们将及时修复
我该如何贡献?
Taier is under the Apache 2.0 license. See the LICENSE file for details.