所有的pod都在master,而不分配到其他是slave节点
zm274310577 opened this issue · 0 comments
环境
centos7,三台服务器安装k8s集群,一个master,其他slave1和slave2。其中这三个节点同时安装了ceph进行数据持久化。
版本和配置信息
- kubernetes版本:
1.15.1 - docker版本:
19.03.12 - 网络插件:
flanneld - 存储类型:
ceph,其中cephfs挂在到master的/mnt/cephfs目录
master:6789,slave1:6789,slave2:6789:/ /mnt/cephfs ceph name=cephfs,secretfile=/etc/ceph/cephfskey,_netdev,noatime 0 0
操作
通过kubernetes client的python API来创建deployment,同时挂载3个目录,
一个是通过pvc动态挂在到pod
下面是secret
apiVersion: v1
kind: Secret
metadata:
name: ceph-secret
namespace: espp-ns
type: "kubernetes.io/rbd"
data:
key:
storageclass.yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: ceph-espp
provisioner: kubernetes.io/rbd
parameters:
monitors: 10.197.1.11, 10.197.1.12, 10.197.1.13
adminId: admin
adminSecretName: ceph-secret
adminSecretNamespace: espp-ns
pool: rbd #此处默认是rbd池,生产上建议自己创建存储池隔离
userId: admin
userSecretName: ceph-secret
reclaimPolicy: Retain
其他两个目录是通过cephfs挂载。
secret.yml
apiVersion: v1
kind: Secret
metadata:
name: cephfs-secret-fs
namespace: espp-ns
type: "kubernetes.io/rbd"
data:
key: AQBJrUxfZiH6NxAAljeXDd/DBYBiHx64PJ+shQ==
导致该问题的操作或现象
所有创建的pod都在master,而不分配的到其他两个节点。同时创建的pvc和pv也是挂载在master
日志
下面是一个deployment
espp-ns-deployment-1-1-2-0-6fc6cd65c4-8lq9m 1/1 Running 0 13h 172.30.22.5 master
下面是df挂载信息
172.18.101.10:6789,172.18.101.11:6789,172.18.101.12:6789:/studentenv/dataset_stuenv_2_1/ 1.2T 244M 1.2T 1% /var/lib/kubelet/pods/1d40454b-00fc-4847-8948-7b1d73e1bb98/volumes/kubernetes.iocephfs/espp-ns-deployment-1-1-2-0-pv-fs-stuenv-0-1cephfs/espp-ns-deployment-1-1-2-0-pv-fs-stuenv-0-0
172.18.101.10:6789,172.18.101.11:6789,172.18.101.12:6789:/lessonplan/dataset_lp_1_1_19/ 1.2T 244M 1.2T 1% /var/lib/kubelet/pods/1d40454b-00fc-4847-8948-7b1d73e1bb98/volumes/kubernetes.io
/dev/rbd0 20G 387M 20G 2% /var/lib/kubelet/plugins/kubernetes.io/rbd/mounts/rbd-image-kubernetes-dynamic-pvc-95ce6a24-e7fe-4456-b008-d53428be6352
overlay
日志或报错信息
有知道的大佬帮忙解决下。万分感谢。