/install_k8s_official

国内快速部署kubernetes集群的最佳实践--完美解决镜像问题 严格按照官方教程 使用kubeadm

Primary LanguageShell

install_k8s_official

在国内环境下,借助阿里镜像源,按照官方的指导,使用脚本一步一步安装kubernetes。

参考教程

【官方】在ubuntu上安装docker

https://docs.docker.com/engine/install/ubuntu/

【官方】安装kubeadm

https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/

【官方】通过kubeadm创建一个单控制面板的集群

https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm

版本说明

当前教程所安装的k8s、docker均默认为最新稳定版本(当前k8s最新约v1.18)

如果需要安装比较旧的版本,需要确保k8s与docker之间兼容,并在安装时指定版本

具体安装方法参见如何安装指定版本k8s.md

其它组件

这部分不是必须的,但能够提升k8s的易用性,解决自建k8s的一些问题

kubernetes dashboard

Dashboard 是基于网页的 Kubernetes 用户界面。Dashboard 可以将容器应用部署到 Kubernetes 集群中,也可以对容器应用排错,还能管理集群资源,可以获取运行在集群中的应用的概览信息,也可以创建或者修改 Kubernetes 资源(如 Deployment,Job,DaemonSet 等等)。

配置使用方法参见dashboard使用说明.md

使用nfs卷

在自建集群中配置nfs动态卷供应,可以比较简单地解决k8s的存储卷问题,也方便管理。

配置使用方法参见在k8s集群使用nfs卷.md

准备工作

# 下载仓库代码到本地
git clone https://github.com/usualheart/install_k8s_official.git
# 打开文件夹
cd install_k8s_official
# 配置阿里ubuntu源 可选
./ali_ubuntu_sources/set_ali_sources.sh
# 暂时关闭swap (利用 vi /etc/fstab 将swap一行注释掉并重启即可永久关闭)
sudo swapoff -a 

安装配置docker

配置docker

注意:docker安装完成后需要配置cgroup驱动为systemd来增强稳定性 具体说明参考: https://kubernetes.io/zh/docs/setup/production-environment/container-runtimes/

# Set up the Docker daemon
cat > /etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2"
}
EOF
mkdir -p /etc/systemd/system/docker.service.d
# Restart Docker
systemctl daemon-reload
systemctl restart docker

安装kubeadm kubelet kubectl

初始化k8s集群master

使用kubeadm初始化一个master 可以通过修改kubernetes-version来指定kubernetes版本 也可以编写一个yaml配置文件来实现更复杂的自定义

sudo kubeadm init --apiserver-advertise-address 192.168.56.101  --image-repository=registry.aliyuncs.com/google_containers
  • --image-repository选项指定了自定义的镜像仓库来代替gcr.io 避免国内无法下载的问题

更多细节可以参考k8s官方文档对kubeadm init的说明

一些配置

在主节点执行:

# To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

安装pod网络插件

这里安装calico插件

kubectl apply -f https://docs.projectcalico.org/v3.14/manifests/calico.yaml

在这一步容易出现拉取calico镜像失败的问题,手动拉取:

docker pull calico/cni:v3.14.1

启用主节点调度

kubectl taint nodes --all node-role.kubernetes.io/master-

打开后pod会调度在主节点运行,这步执行完成后相当于拥有了一个单节点kubernetes

加入节点 以构建多节点k8s集群

在其它虚拟机上边安装好相应的docker kubeadm后执行下面的步骤加入到主节点,实现多节点的k8s集群。

kubeadm join --token <token> <control-plane-host>:<control-plane-port> --discovery-token-ca-cert-hash sha256:<hash>

参数1:<token>

如果没有token可以在主节点上运行下边的命令得到:

kubeadm token list

输出结果类似于这个:

TOKEN                    TTL  EXPIRES              USAGES           DESCRIPTION            EXTRA GROUPS
8ewj1p.9r9hcjoqgajrj4gi  23h  2018-06-12T02:51:28Z authentication,  The default bootstrap  system:
                                                   signing          token generated by     bootstrappers:
                                                                    'kubeadm init'.        kubeadm:
                                                                                           default-node-token

默认token 24小时过期。如果你在token已经过期后才加入到一个集群,可以通过在主节点上边运行下边的指令来创建一个新的token:

kubeadm token create

输出类似于:

5didvk.d09sbcov8ph2amjw

参数2:<control-plane-host>:<control-plane-port>

  • <control-plane-host>填主节点的ip地址,或者主节点的hostname(如果填hostname需要保证可以通过hostname访问到主节点)

  • control-plane-port一般默认是6443

参数3:--discovery-token-ca-cert-hash

如果你不知道--discovery-token-ca-cert-hash的值,可以通过运行下边的命令在主节点上得到:

openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | \
   openssl dgst -sha256 -hex | sed 's/^.* //'

结果输出类似于:

8cb2de97839780a412b93877f8507ad6c94f73add17d5d7058e91741c9d5ec78

ipv6相关的注意

Note: To specify an IPv6 tuple for :, IPv6 address must be enclosed in square brackets, for example: [fd00::101]:2073.

加入结果

填好参数的一个例子:

kubeadm join --token dj7ard.mtehsr9qts4mwgkg 192.168.0.102:6443 --discovery-token-ca-cert-hash sha256:be2258c8445d1eeeac88576b0a62a86bd2575fb991675853c97ef0df79666f38

kubeadm join命令执行后的结果应当如下所示:

[preflight] Running pre-flight checks

... (log output of join workflow) ...

Node join complete:
* Certificate signing request sent to control-plane and response
  received.
* Kubelet informed of new secure connection details.

Run 'kubectl get nodes' on control-plane to see this machine join.

几秒钟之后,应当可以在主节点上通过运行kubectl get nodes看到新节点已经加入了。

辅助工具说明

如果kubeadm init中已经指定了--image-repository=registry.aliyuncs.com/google_containers就不需要再手动拉取k8s镜像以及手动打标签了

  • pull_k8s_gcr_io_from_ali.sh

    用于从阿里gcr.io镜像拉取安装k8s所必须的gcr.io镜像,并更改镜像标签为gcr.io。结果就好像是直接从gcr.io拉取到了安装kubernetes所需的镜像。

  • pull_gcr_io_from_ali.sh

    从阿里gcr.io镜像拉取指定gcr.io镜像并更改镜像标签为gcr.io。镜像名通过脚本参数指定。

  • calico_image.txt

    pod网络插件calico所依赖的镜像,在安装kubernetes的时候需要配置pod网络插件,如果这个环节失败,可以通过手动拉取calico镜像的方式解决。

  • ali_ubuntu_sources

    配置ubuntu16.04阿里源。