对spark-submit上传jar的疑问
wloverine opened this issue · 0 comments
wloverine commented
在Spark部署模式与作业提交.md一文中提到的:
需要注意的是:在集群环境下,application-jar 必须能被集群中所有节点都能访问,可以是 HDFS 上的路径;也可以是本地文件系统路> 径,如果是本地文件系统路径,则要求集群中每一个机器节点上的相同路径都存在该 Jar 包。
如果application-jar指定的是本地文件系统路径,那么spark会不会自动分发jar到每一台机器上。我在跑spark任务的时候,都是把jar上传到一台机器上就可以跑了,所以看到这里不免疑问。