【Bug】engine启动一段时间后,spark的hdfs的tmp里面的目录丢失,所有代码执行报文件不存在
freezhou2022 opened this issue · 1 comments
freezhou2022 commented
chncaesar commented
根据日志,spark.local.dir 设置为 /tmp。 该目录会被Linux 定时清理。
因而,修改配置,spark.local.dir 设置为 高速且不被清理的磁盘。
freezhou2022 opened this issue · 1 comments
根据日志,spark.local.dir 设置为 /tmp。 该目录会被Linux 定时清理。
因而,修改配置,spark.local.dir 设置为 高速且不被清理的磁盘。