tencentyun/hadoop-cos

No FileSystem for scheme "cosn"

MrZsy opened this issue · 2 comments

MrZsy commented

image

The version of hadoop 3.3.2 used

是spark on YARN 还是spark standalone的。
如果是spark on YARN,参照hadoop-cos的配置文档。
如果是 spark standalone 需要,把 hadoop-cos 的相关依赖放到 ${SPARK_HOME} / jars 里面去,同时需要配置spark-defaults.conf 配置根hadoop 一样,配置名字加上spark.hadoop 前缀,例如:

spark.hadoop.fs.cosn.impl xxx

MrZsy commented

是spark on YARN 还是spark standalone的。 如果是 spark on YARN,参照 hadoop-cos的配置文档。 如果是 Spark standalone 需要,把 Hadoop-cos 的相关依赖放到 ${SPARK_HOME} / jars 里面去,同时需要配置spark-defaults.conf 配置根Hadoop一样,配置名字加上spark.hadoop 前缀,例如:

spark.hadoop.fs.cosn.impl xxx

The test was successful after adding the configuration, thank you