/Lark

基于flinkx的分布式数据中台产品

Primary LanguageJava

LarkMidTable

Lark中文名称 云雀,云代表大数据,雀代表平凡和自由。

LarkMidTable 是一站式开源的数据中台,实现元数据管理,数据仓库开发,数据质量管理,数据的可视化,实现高效赋能数据前台并提供数据服务的产品。

技术选型

框架名称 框架用途 主要功能
Atlas 元数据管理 包括 数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力
Dolphin 任务调度 可视化DAG工作流任务调度系统
Flink 离线和实时计算框架 基于Flink,一站式解决批流处理问题
Hive 数据存储 基于MR的数据仓库工具
Kylin 分析数据库 开源的、分布式的分析型数据仓库
Kafka 消息中间件 LinkedIn用Scala语言实现,支持hadoop数据并行加载
K8S 容器部署 部署容器化的应用简单并且高效
Zookeeper 分布式协调服务 统一命名服务、配置管理、集群管理、队列管理

产品架构图

架构图

产品愿景

1.能够满足许多的小企业,提供一站式的解决方案。

2.做出世界级别,能够媲美BAT大厂的产品。

3.创造价值,产生价值,让世界变得更加美好。

快速开始

请点击快速开始

开发计划

待完成:

任务管理、日志管理、资源监控

已完成:

登陆功能【完成】 项目管理【完成】 用户管理【完成】 JSON格式化【完成】 数据源管理【完成】 执行器管理【完成】

开发日志

学习资源库

研发资源库

数据中台文章

技术交流

搜索QQ群号[678097205]或者扫描下面的二维码进入LarkMidTable 社区的QQ群,目前正是开源的初期阶段,群里达到60人

QQ群