datavane/datavines

[Feature][错误数据] 错误数据写入文件

Opened this issue · 0 comments

Search before asking

  • I had searched in the feature and found no similar feature requirement.

Description

目前错误数据是写入的表,每个调度执行一次会生成一个表,而运维人员很少去关心历史的调度产生的错误数据,这样会导致临时表的数量越来越多。
建议将错误数据写入到服务器文件中,按照调度日期生成目录,调度的id则作为文件名,内容就是JSON格式的错误数据,同时在文件中也可以加入当前错误的元数据,例如:数据量,字段头信息等。

Usage Scenario

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!