/atom

Primary LanguageJava

atom

lampup小组下的atom项目是一个为AI服务的可编排自动化运行平台。

特性

  • 自动运行训练,推理,特征,数据算子

  • 支持文件算子(超大文件预下载与并行下载,多个算子需要同一个文件,重复下载非常浪费资源与时间)【未开始】

  • 提供基于python实现能做基本数据操作的数据算子【未开始】

  • 支持算子本地开发

  • 多租户下 kubernetes深度管理【进行中】

  • 支持多种调用(k8s,简单)与运行模式(命令启动,docker)【进行中】

  • 可以从各种数据源(MySQL,Ceph,hbase.....)读取数据给算子提供“养料”,并且把算子产生的数据写入各种存储

  • 可操作,可视,支持多租户的控制台

  • 可对算子,连接,数据源,模型等进行深度管理

  • 支持operator 在runtime的隔离与SOA【开发中,基本完成】

  • 支持推理多语言SDK【开发中,】

  • 推荐功能【进行中,预计三月初】

  • 自动运行flink算子【未开始】

  • 支持运行编排【未开始】

  • 支持推理编排【未开始】

  • 标注功能【未开始】

  • A/B Test 【未开始】

组成

  • atom-python-runtime 运行训练,推理,特征,数据算子

  • atom-service 各种业务模块

  • 调用组件 负责调用flink,python-runtime

依赖

  • nacos

  • electron

  • decoration light(atom-service,java-sdk)

  • MySQL

Installation

pip install atom-runtime