No FileSystem for scheme "cosn"
MrZsy opened this issue · 2 comments
MrZsy commented
yuyang733 commented
是spark on YARN 还是spark standalone的。
如果是spark on YARN,参照hadoop-cos的配置文档。
如果是 spark standalone 需要,把 hadoop-cos 的相关依赖放到 ${SPARK_HOME} / jars 里面去,同时需要配置spark-defaults.conf 配置根hadoop 一样,配置名字加上spark.hadoop 前缀,例如:
spark.hadoop.fs.cosn.impl xxx
MrZsy commented
是spark on YARN 还是spark standalone的。 如果是 spark on YARN,参照 hadoop-cos的配置文档。 如果是 Spark standalone 需要,把 Hadoop-cos 的相关依赖放到 ${SPARK_HOME} / jars 里面去,同时需要配置spark-defaults.conf 配置根Hadoop一样,配置名字加上spark.hadoop 前缀,例如:
spark.hadoop.fs.cosn.impl xxx
The test was successful after adding the configuration, thank you