byzer-org/byzer-lang

【Bug】engine启动一段时间后,spark的hdfs的tmp里面的目录丢失,所有代码执行报文件不存在

freezhou2022 opened this issue · 1 comments

engine启动一段时间后,spark的hdfs的tmp里面目录丢失,所有代码执行报文件不存在,下图报错
微信图片_20220828211422

根据日志,spark.local.dir 设置为 /tmp。 该目录会被Linux 定时清理。
因而,修改配置,spark.local.dir 设置为 高速且不被清理的磁盘。