/balm

基于Spring Boot全家桶打造，大数据PAAS组件适配器，一键适配DolphinScheduler、Hadoop、Spark、Hive、Impala、HBase、Kafka、StarRocks、ClickHouse、Neo4j，通过标准REST接口操作，简单易用，方便二次开发和集成

Balm（万金油-大数据PAAS组件适配器）

基于Spring Boot打造，一键集成各种常用的大数据PAAS组件，简化对接成本，提升应用开发效率

  • DolphinScheduler（1.3.x）
  • Hadoop（2.x/3.x）
  • Spark（2.x/3.x）
  • Hive（2.x/3.x）
  • Impala（敬请期待）
  • HBase（敬请期待）
  • Kafka（敬请期待）
  • StarRocks（敬请期待）
  • ClickHouse（敬请期待）
  • Presto（敬请期待）
  • DataX（敬请期待）
  • Neo4j（敬请期待）
  • Aliyun OSS（敬请期待）
  • Aliyun ODPS/MaxCompute（敬请期待）
  • More+

提供标准的RESTFul操作接口，屏蔽底层架构的差异性，让数据的读/写更简单

DolphinScheudler（分布式任务调度组件）

  • 环境自检相关接口
    • DolphinScheduler组件运行环境自检
  • 任务管理相关接口
    • 任务创建
    • 任务列表查询
    • 任务详情查询
    • 任务更新
    • 任务删除
  • 任务运行相关接口
    • 任务单次执行
    • 任务单步执行
    • 任务调度执行
    • 任务暂停
    • 任务恢复
    • 任务停止
    • 任务执行状态查询
    • 作业执行状态查询
    • 任务执行批次查询
    • 任务执行队列信息查询
  • 任务执行历史相关接口
    • 任务执行历史列表查询
    • 作业执行历史列表查询
    • 任务执行历史日志查询
  • 任务执行统计相关接口
    • 任务执行耗时评估
    • 作业执行耗时评估
  • 资源管理相关接口
    • 资源文件注册
    • 资源文件下载
    • 资源列表查询
    • 资源文件删除

Hadoop（HDFS文件系统+YARN资源调度）

  • 环境自检相关接口
    • Hadoop组件运行环境自检
  • HDFS文件系统相关接口
    • HDFS磁盘监测
    • HDFS路径检测
    • HDFS文件类型检测
    • 创建HDFS目录
    • 拷贝HDFS目录或文件
    • 移动HDFS目录或文件
    • 删除HDFS目录或文件
    • 获取HDFS文件列表
    • 下载HDFS目录或文件
    • 创建HDFS文件
    • 压缩HDFS文件
    • 解压HDFS文件
  • YARN资源调度相关接口
    • 获取yarn队列信息
    • 获取yarn任务执行列表
    • 设置yarn任务执行优先级
    • yarn队列自动分配
    • 停止yarn任务

Hive（数据仓库）

  • 环境自检相关接口
    • Hive组件运行环境自检
  • 数仓操作相关接口
    • Hive数仓表探查
    • Hive表元数据探查
    • Hive表数据导入
    • Hive表数据下载
    • Hive表数据随机抽样

Spark（大数据计算引擎）

  • 环境自检相关接口
    • Spark组件运行环境自检
  • Spark 操作相关接口
    • SparkSQL语法检测
    • SparkSQL语句执行
    • SparkSQL语句批量执行
    • SparkSQL自定义数据分析

快速部署

  • 最新版点击下载balm-2024.03.15.jar
  • 根据需要对接组件的实际部署情况，按需修改application.yml
  • 上传服务器，一键启动：nohup java -jar balm-2024.03.15.jar > balm.log 2>&1 &
  • Swagger-ui地址：http://host:11011/balm

问题反馈

  • 详细部署手册、接口使用文档、二次开发指南请联系↓↓↓
  • WeChat：xxx-hx-xxx（潇湘夜雨）
  • Email：hexing_xx@163.com
  • 欢迎通过Issues或以上联系方式提交问题或者建议