/Quark

a universal nlp service

Primary LanguagePythonApache License 2.0Apache-2.0

#train framework - quark

This project is under development and we need developers to participate in.

Join us

If you

  • familiar with xgb lightgbm
  • familiar with and interested in finance, rec, nlp and cv
  • familiar with tensorflow
  • have spare time to learn and develop
  • familiar with git

please send a brief introduction of your background and experience to

welcome to join us!


核心

  • 将传统的训练过程,抽离出核心任务节点,基于这个任务节点构建DAG图,并最终以业务为核心构建业务DAG图,因此需要了解训练组件中的层级关系,分别为:
  • 底层-算法原子性单元和原子插件,该部分为算法核心人员开发
  • 中层-任务节点(DAG中的每个node),该部分为业务算法工程师进行开发,每开发一个节点并测试成功后,需进行注册, 方便共享并用于构图
  • 上层-实验(DAG图), 该部分为业务方进行构建符合自己业务场景的图并进行训练实验,每构建一个图必须进行注册,方便共享并管理

非开发者使用操作流程

(待完善)

开发者使用操作流程

(待完善)