/Taier

大数据平台-分布式任务调度系统

Primary LanguageJavaApache License 2.0Apache-2.0

Taier Logo

Taier

A distributed dispatching system

官网 | 官方文档

介绍

Taier 太阿,是**古代十大名剑之一

Taier 是一个开源的分布式 DAG 调度系统,专注不同任务的提交和调度。旨在降低 ETL 开发成本,解决任务之间复杂的依赖关系和提交、调度、运维带来的上手成本

Taier 上进行 ETL 开发,不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中

Taier 提供了一个提交、调度、运维、指标信息展示的一站式大数据开发平台

功能

核心功能如下:

  • 分布式扩展
  • 可视化 DAG 配置
  • IDE 式开发平台
  • 自定义扩展任务插件
  • 向导、脚本多种模式
  • 上下游依赖调度
  • 支持实时、离线任务
  • 支持对接不同版本的 Hadoop
  • 对集群环境 0 侵入
  • 多租户多集群隔离
  • 支持 Kerberos 认证
  • 任务多版本支持
  • 自定义参数替换
  • 集群资源实时监控
  • 数据指标实时获取
  • 任务资源限制

架构

architecture

快速开始

$ wget https://github.com/DTStack/Taier/blob/master/docker-compose.yml
$ docker-compose up -d

main

任务类型

任务类型 文档说明
数据同步 文档
实时采集 文档
Flink SQL 文档
Spark SQL 文档
Hive SQL 文档
OceanBase SQL 文档
自定义扩展 文档

问题反馈

在使用上有遇到 bug 或者优化点,强烈建议你提 issue 我们将及时修复

贡献代码

我该如何贡献?

参考文档

贡献者

License

Taier is under the Apache 2.0 license. See the LICENSE file for details.