通过容器方式在Kubernetes上运行spark集群。
手动编译
修改spark/Makefile
中的DOCKER_REGISTRY
为你的私有镜像仓库地址。
$ cd spark
$ make all
$ make push
时速云镜像
或者直接下载我已经编译好的镜像,上传到了时速云仓库:
index.tenxcloud.com/jimmy/spark:1.5.2_v1
index.tenxcloud.com/jimmy/zeppelin:0.7.1
创建名为spark-cluster的namespace,所有操作都在该namespace中进行。
所有yaml文件都在manifests
目录下。
$ kubectl create -f manifests/
将会启动一个拥有三个worker的spark集群和zeppelin。
同时在该namespace中增加ingress配置,将spark的UI和zeppelin页面都暴露出来,可以在集群外部访问。
该ingress后端使用traefik。
通过上面对ingress的配置暴露服务,需要修改本机的/etc/hosts文件,增加以下配置,使其能够解析到上述service。
172.20.0.119 zeppelin.traefik.io
172.20.0.119 spark.traefik.io
172.20.0.119是我设置的VIP地址,VIP的设置和traefik的配置请查看kubernetes-handbook。
spark ui
zeppelin ui