Kubernetes集群部署实战指南

今日内容预告

  • Kubernetes集群架构
  • Kubernetes的三种网络类型
  • Kubernetes的部署方式
  • Kubernetes的集群基础优化
  • kubeadm部署k8s集群
  • harbor基于https配置案例

Kubernetes集群架构

1. 什么是Kubernetes

Kubernetes简称K8S，是一款用于编排容器的工具，支持单点、集群模式。

官网地址:
https://kubernetes.io/

GitHub地址:
https://github.com/kubernetes/kubernetes

2. K8S架构（三个部分背下来，极其重要）

Master → Control Plane 控制面板

管理K8S集群。

  • etcd:
    默认使用https协议，用于数据存储。
  • api-server:
    默认使用https协议，用于K8S集群管理访问控制入口。
  • controller manager:
    用于维护K8S集群。
  • scheduler:
    负责调度相关工作。
Slave → Worker Node 工作节点

负责干活的。

  • kubelet:
    管理容器的生命周期，并上报容器状态和节点状态到api-server。
  • kube-proxy:
    实现容器访问，用于代理容器的访问入口。转发
CNI：Container Network Interface
  • Flannel
  • Calico
  • Cilium
  • Canel
  • …

Kubernetes的三种网络类型

1. k8s组件网络

即物理机的IP地址网段。

2. CNI：Pod（容器）网络

为容器提供网络。

3. Service：服务网络

为容器提供统一的访问入口，可以提供Pod的负载均衡和服务发现功能。

三种网络类型：

  • k8s组件使用物理网卡
  • pod容器之间跨主机通信的网段是10.100.0.0/16
  • service层可以起到一个负载和服务发现的作用，wordpress通过访问service可以访问到mysql

Kubernetes的部署方式

1. 官方默认都有两种部署方式（在生产环境中都可以使用，且都支持高可用环境。学习过程中，建议选择kubeadm。）

二进制部署K8S集群

手动部署K8S各个组件、配置文件、启动脚本及证书生成，kubeconfig文件。
配置繁琐，对新手不友好，尤其是证书管理。但是可以自定义配置信息，老手部署的话2小时起步，新手20+小时。

kubeadm部署K8S集群

是官方提供的一种快速部署K8S各组件的部署方式，如果镜像准备就绪的情况下，基于容器的方式部署。
需要提前安装kubelet、docker或者containerd、kubeadm组件。
配置简单，适合新手。新手在镜像准备好的情况下，仅需要2分钟部署完毕。

2. 第三方提供的部署方式

国内公司：
  • 青云科技：kubesphere → kubekey
    底层基于kubeadm快速部署K8S，提供了丰富的图形化管理界面。
  • kuboard
    底层基于kubeadm快速部署K8S，提供了丰富的图形化管理界面。
  • kubeasz
    底层基于二进制方式部署，结合ansible的playbook实现的快速部署管理K8S集群。
国外的产品：
  • rancher:
    和国内的kubesphere很相似，也是K8S发行商，提供了丰富的图形化管理界面。还基于K8S研发出来了K3S，号称轻量级的K8S。
云厂商：
  • 阿里云的ACK的SAAS产品
  • 腾讯云的TKE的SAAS产品
  • 华为云的CCE的SAAS产品
  • ucloud的UK8S的SAAS产品
  • 亚马逊的Amazon EKS的SAAS产品
  • 京东云、百度云的SAAS产品等。
其他部署方式：
  • minikube:
    适合在windows部署K8S，适合开发环境搭建的使用。不建议生产环境部署。
  • kind:
    可以部署多套K8S环境，轻量级的命令行管理工具。
  • yum:
    不推荐，版本支持较低，默认是1.5.2。
CNCF技术蓝图：

https://landscape.cncf.io/

3. 二进制部署和kubeadm部署的区别

相同点:
都可以部署K8S高可用集群。

不同点:

  1. 部署难度: kubeadm简单
  2. 部署时间: kubeadm短时间
  3. 证书管理: 二进制需要手动生成，而kubeadm自建三套10年的CA证书，各组件证书有效期为1年
  4. 软件安装: kubeadm需要单独安装kubeadm、kubectl和kubelet组件，由kubelet组件启动K8S其他相关Pod，而二进制需要安装除了kubeadm的其他K8S组件。

Kubernetes的版本选择

我们选择的版本是多版本教学，不仅仅是单版本教学，因为线下学员反馈各个公司用的版本不尽相同。

首先，是K8S 1.23.17版本，该版本的第一个rc版本是2021年初，最后一个版本是23年年初结束。

最后，我们以二进制部署K8S集群搭建最新版本讲解。

值得注意的是：k8s 1.24版本移除了对于docker运行时的原生支持，如果需要使用docker运行时的话需要单独部署cri-docker组件。

我们建议大家生产环境如果高于1.24版本直接使用Containerd运行时，因为官方测试性能更高，为了追求更高的性能建议使用Containerd。

Containerd需要使用ctr工具来进行管理。

k8s集群环境准备

1. 环境准备

推荐阅读:
https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/

环境准备:

  • 硬件配置: 2core 4GB
  • 磁盘: 100GB+ [系统盘]
  • 磁盘b: 300GB [Rook待用]
  • 磁盘C: 500GB [Rook待用]
  • 磁盘D: 1TB [Rook待用]
  • 操作系统: Ubuntu 22.04.04 LTS
  • IP和主机名:
    • 10.0.0.231 master231
    • 10.0.0.232 worker232
    • 10.0.0.233 worker233

所有节点能够上网，机器必须"干净"。

温馨提示：
虚拟机的windows宿主机存储路径磁盘最少保证200GB剩余空间。

2. 关闭swap分区（三台节点都关）

swapoff -a && sysctl -w vm.swappiness=0  # 临时关闭
sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab  # 基于配置文件关闭

3. 确保各个节点MAC地址或product_uuid唯一

ifconfig eth0 | grep ether | awk '{print $2}'
cat /sys/class/dmi/id/product_uuid

温馨提示:
一般来讲，硬件设备会拥有唯一的地址，但是有些虚拟机的地址可能会重复。
Kubernetes使用这些值来唯一确定集群中的节点。如果这些值在每个节点上不唯一，可能会导致安装失败。

4. 检查网络节点是否互通

简而言之，就是检查你的k8s集群各节点是否互通，可以使用ping命令来测试。

ping baidu.com -c 10

5. 允许iptable检查桥接流量（全操作）

cat <<EOF | tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

cat <<EOF | tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

sysctl --system

6. 检查端口是否被占用

参考链接: https://kubernetes.io/zh-cn/docs/reference/networking/ports-and-protocols/
检查master节点和worker节点的各组件端口是否被占用。

7. 所有节点修改cgroup的管理进程为systemd

7.1 安装docker环境
wget http://192.168.16.253/Resources/Docker/scripts/oldboyedu-autoinstall-docker-docker-compose.tar.gz
tar xf oldboyedu-autoinstall-docker-docker-compose.tar.gz
./install-docker.sh i
7.2 检查cgroup驱动是否是systemd
[root@master231 ~]# docker info | grep "Cgroup Driver:"
Cgroup Driver: systemd

[root@worker232 ~]# docker info | grep "Cgroup Driver:"
Cgroup Driver: systemd

[root@worker233 ~]# docker info | grep "Cgroup Driver:"
Cgroup Driver: systemd

8. 所有节点安装kubeadm、kubelet、kubectl

8.1 软件包说明

你需要在每台机器上安装以下的软件包：

  • kubeadm：用来初始化K8S集群的工具。
  • kubelet：在集群中的每个节点上用来启动Pod和容器等。
  • kubectl：用来与K8S集群通信的命令行工具。

kubeadm不能帮你安装或者管理kubelet或kubectl，所以你需要确保它们与通过kubeadm安装的控制平面(master)的版本相匹配。如果不这样做，则存在发生版本偏差的风险，可能会导致一些预料之外的错误和问题。

然而，控制平面与kubelet间的相差一个次要版本不一致是支持的，但kubelet的版本不可以超过"API SERVER"的版本。例如，1.7.0版本的kubelet可以完全兼容1.8.0版本的"API SERVER"，反之则不可以。

8.2 K8S所有节点配置软件源（建议拷贝2次）【线上同学】
apt-get update && apt-get install -y apt-transport-https
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
apt-get update
8.3 查看一下当前环境支持的k8s版本【线上同学】
[root@master231 ~]# apt-cache madison kubeadm
   kubeadm |  1.28.2-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
   kubeadm |  1.28.1-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
   kubeadm |  1.28.0-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
   ...
   kubeadm | 1.23.17-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
   kubeadm | 1.23.16-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
   kubeadm | 1.23.15-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
   kubeadm | 1.23.14-00 | https://mirrors.aliyun.com/kubernetes/apt kubernetes-xenial/main amd64 Packages
   ...
8.4 所有节点安装 kubelet kubeadm kubectl
apt-get -y install kubelet=1.23.17-00 kubeadm=1.23.17-00 kubectl=1.23.17-00
SVIP【可以直接跳过8.2-8.4】

我已经把软件包打包好了，放在了nginx站点目录。

wget http://192.168.16.253/Resources/Kubernetes/K8S%20Cluster/kubeadm/softwares/oldboyedu-kubeadm-kubectl-kubelet-1.23.17.tar.gz
tar xf oldboyedu-kubeadm-kubectl-kubelet-1.23.17.tar.gz
dpkg -i *.deb
彩蛋：ubuntu打包软件
[root@worker232 archives]# pwd
/var/cache/apt/archives

[root@worker232 archives]# ls -1 *.deb | xargs tar zcf oldboyedu-kubeadm-kubectl-kubelet-1.23.17.tar.gz

[root@worker232 archives]# tar tf oldboyedu-kubeadm-kubectl-kubelet-1.23.17.tar.gz
apt-transport-https_2.4.14_all.deb
conntrack_1%3a1.4.6-2build2_amd64.deb
cri-tools_1.26.0-00_amd64.deb
ebtables_2.0.11-4build2_amd64.deb
kubeadm_1.23.17-00_amd64.deb
kubectl_1.23.17-00_amd64.deb
kubelet_1.23.17-00_amd64.deb
kubernetes-cni_1.2.0-00_amd64.deb
socat_1.7.4.1-3ubuntu4_amd64.deb
8.5 检查各组件版本
[root@master231 archives]# kubeadm version
kubeadm version: &version.Info{Major:"1", Minor:"23", GitVersion:"v1.23.17", GitCommit:"953be8927218ec8067e1af2641e540238ffd7576", GitTreeState:"clean", BuildDate:"2023-02-22T13:33:14Z", GoVersion:"go1.19.6", Compiler:"gc", Platform:"linux/amd64"}

[root@master231 archives]# kubectl version
Client Version: version.Info{Major:"1", Minor:"23", GitVersion:"v1.23.17", GitCommit:"953be8927218ec8067e1af2641e540238ffd7576", GitTreeState:"clean", BuildDate:"2023-02-22T13:34:27Z", GoVersion:"go1.19.6", Compiler:"gc", Platform:"linux/amd64"}
The connection to the server localhost:8080 was refused - did you specify the right host or port?

[root@master231 archives]# kubelet --version
Kubernetes v1.23.17

[root@worker232 archives]# kubeadm version
kubeadm version: &version.Info{Major:"1", Minor:"23", GitVersion:"v1.23.17", GitCommit:"953be8927218ec8067e1af2641e540238ffd7576", GitTreeState:"clean", BuildDate:"2023-02-22T13:33:14Z", GoVersion:"go1.19.6", Compiler:"gc", Platform:"linux/amd64"}

[root@worker232 archives]# kubectl version
Client Version: version.Info{Major:"1", Minor:"23", GitVersion:"v1.23.17", GitCommit:"953be8927218ec8067e1af2641e540238ffd7576", GitTreeState:"clean", BuildDate:"2023-02-22T13:34:27Z", GoVersion:"go1.19.6", Compiler:"gc", Platform:"linux/amd64"}
The connection to the server localhost:8080 was refused - did you specify the right host or port?

[root@worker232 archives]# kubelet --version
Kubernetes v1.23.17

[root@worker233 archives]# kubeadm version
kubeadm version: &version.Info{Major:"1", Minor:"23", GitVersion:"v1.23.17", GitCommit:"953be8927218ec8067e1af2641e540238ffd7576", GitTreeState:"clean", BuildDate:"2023-02-22T13:33:14Z", GoVersion:"go1.19.6", Compiler:"gc", Platform:"linux/amd64"}

[root@worker233 archives]# kubectl version
Client Version: version.Info{Major:"1", Minor:"23", GitVersion:"v1.23.17", GitCommit:"953be8927218ec8067e1af2641e540238ffd7576", GitTreeState:"clean", BuildDate:"2023-02-22T13:34:27Z", GoVersion:"go1.19.6", Compiler:"gc", Platform:"linux/amd64"}
The connection to the server localhost:8080 was refused - did you specify the right host or port?

[root@worker233 archives]# kubelet --version
Kubernetes v1.23.17

参考链接:
https://kubernetes.io/zh/docs/tasks/tools/install-kubectl-linux/

9. 检查时区（都要设置）

ln -svf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
ll /etc/localtime
date -R

[root@master231 ~]# ln -svf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
'/etc/localtime' -> '/usr/share/zoneinfo/Asia/Shanghai'

[root@master231 ~]# ll /etc/localtime
lrwxrwxrwx 1 root root 33 Feb 10 11:26 /etc/localtime -> /usr/share/zoneinfo/Asia/Shanghai

[root@master231 ~]# date -R
Fri, 19 Sep 2025 10:18:58 +0800

10. 验证cpu核心数（都要执行）

[root@master231 ~]# lscpu | grep ^CPU\(s\)
CPU(s):                               2

[root@worker232 ~]# lscpu | grep ^CPU\(s\)
CPU(s):                               2

[root@worker233 ~]# lscpu | grep ^CPU\(s\)
CPU(s):                               2

11. 拍快照

init 0

以上操作是所有节点都得准备的，关机后添加3块磁盘，后再拍快照，在做其他的步骤。

  • 磁盘b: 300GB [Rook待用]
  • 磁盘C: 500GB [Rook待用]
  • 磁盘D: 1TB [Rook待用]

基于kubeadm组件初始化K8S的master组件

1. 提前导入镜像

[root@master231 ~]# wget http://192.168.16.253/Resources/Kubernetes/K8S%20Cluster/kubeadm/images/oldboyedu-master-1.23.17.tar.gz
[root@master231 ~]# docker load -i oldboyedu-master-1.23.17.tar.gz
[root@master231 ~]# docker image ls
REPOSITORY                                                        TAG        IMAGE ID       CREATED         SIZE
registry.aliyuncs.com/google_containers/kube-apiserver            v1.23.17   62bc5d8258d6   23 months ago   130MB
registry.aliyuncs.com/google_containers/kube-controller-manager   v1.23.17   1dab4fc7b6e0   23 months ago   120MB
registry.aliyuncs.com/google_containers/kube-scheduler            v1.23.17   bc6794cb54ac   23 months ago   51.9MB
registry.aliyuncs.com/google_containers/kube-proxy                v1.23.17   f21c8d21558c   23 months ago   111MB
registry.aliyuncs.com/google_containers/etcd                      3.5.6-0    fce326961ae2   2 years ago     299MB
registry.aliyuncs.com/google_containers/coredns                   v1.8.6     a4ca41631cc7   3 years ago     46.8MB
registry.aliyuncs.com/google_containers/pause                     3.6        6270bb605e12   3 years ago     683kB

2. 使用kubeadm初始化master节点

[root@master231 ~]# kubeadm init --kubernetes-version=v1.23.17 --image-repository registry.aliyuncs.com/google_containers --pod-network-cidr=10.100.0.0/16 --service-cidr=10.200.0.0/16 --service-dns-domain=oldboyedu.com
...
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config
Alternatively, if you are the root user, you can run:
  export KUBECONFIG=/etc/kubernetes/admin.conf
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 10.0.0.231:6443 --token uqix8a.2mg2ad5d50wvz8e6 \
--discovery-token-ca-cert-hash sha256:f55b3ba05b9ce9be67e17ba1aa0a60328c64f235b5673c0de0fea58b750e0950

24小时后有新的节点要加入：

# 生成新的 Token（默认24小时有效）
kubeadm token create --print-join-command
# 输出
kubeadm join 10.0.0.231:6443 --token flbjgt.avmlzzs7caajok49 --discovery-token-ca-cert-hash sha256:f55b3ba05b9ce9be67e17ba1aa0a60328c64f235b5673c0de0fea58b750e0950

温馨提示:
你的token跟我不一致，请保存好，默认保留24小时，因此24小时内你的集群必须启动起来！

相关参数说明:

  • --kubernetes-version: 指定K8S master组件的版本号。
  • --image-repository: 指定下载k8s master组件的镜像仓库地址。
  • --pod-network-cidr: 指定Pod的网段地址。
  • --service-cidr: 指定SVC的网段。
  • --service-dns-domain: 指定service的域名。若不指定，默认为"cluster.local"。

使用kubeadm初始化集群时，可能会出现如下的输出信息:

  • [init]: 使用初始化的K8S版本。
  • [preflight]: 主要是做安装K8S集群的前置工作，比如下载镜像，这个时间取决于你的网速。
  • [certs]: 生成证书文件，默认存储在"/etc/kubernetes/pki"目录。
  • [kubeconfig]: 生成K8S集群的默认配置文件，默认存储在"/etc/kubernetes"目录。
  • [kubelet-start]: 启动kubelet，环境变量默认写入:“/var/lib/kubelet/kubeadm-flags.env”，配置文件默认写入:“/var/lib/kubelet/config.yaml”。
  • [control-plane]: 使用静态的目录，默认的资源清单存放在:“/etc/kubernetes/manifests”。此过程会创建静态Pod，包括"kube-apiserver"、“kube-controller-manager"和"kube-scheduler”。
  • [etcd]: 创建etcd的静态Pod，默认的资源清单存放在:“/etc/kubernetes/manifests”。
  • [wait-control-plane]: 等待kubelet从资源清单目录"/etc/kubernetes/manifests"启动静态Pod。
  • [apiclient]: 等待所有的master组件正常运行。
  • [upload-config]: 创建名为"kubeadm-config"的ConfigMap在"kube-system"名称空间中。
  • [kubelet]: 创建名为"kubelet-config-1.22"的ConfigMap在"kube-system"名称空间中，其中包含集群中kubelet的配置。
  • [upload-certs]: 跳过此节点，详情请参考”–upload-certs"。
  • [mark-control-plane]: 标记控制面板，包括打标签和污点，目的是为了标记master节点。
  • [bootstrap-token]: 创建token口令，例如:“kbkgsa.fc97518diw8bdqid”。如下图所示，这个口令将来在加入集群节点时很有用，而且对于RBAC控制也很有用处。
  • [kubelet-finalize]: 更新kubelet的证书文件信息。
  • [addons]: 添加附加组件，例如:“CoreDNS"和"kube-proxy”。

3. 拷贝授权文件，用于管理K8S集群

[root@master231 ~]# mkdir -p $HOME/.kube
[root@master231 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master231 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config

4. 查看master组件是否正常工作

[root@master231 ~]# kubectl get componentstatuses
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME                 STATUS    MESSAGE                         ERROR
controller-manager   Healthy   ok                              
etcd-0               Healthy   {"health":"true","reason":""}   
scheduler            Healthy   ok                              
[root@master231 ~]# kubectl get cs
Warning: v1 ComponentStatus is deprecated in v1.19+
NAME                 STATUS    MESSAGE                         ERROR
scheduler            Healthy   ok                              
controller-manager   Healthy   ok                              
etcd-0               Healthy   {"health":"true","reason":""}

5. 查看工作节点

[root@master231 ~]# kubectl get nodes
NAME        STATUS     ROLES                  AGE     VERSION
master231   NotReady   control-plane,master   3m13s   v1.23.17
[root@master231 ~]# kubectl get no
NAME        STATUS     ROLES                  AGE     VERSION
master231   NotReady   control-plane,master   3m15s   v1.23.17
[root@master231 ~]# kubectl get no -o wide
NAME        STATUS     ROLES                  AGE     VERSION    INTERNAL-IP   EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION       CONTAINER-RUNTIME
master231   NotReady   control-plane,master   3m23s   v1.23.17   10.0.0.231    <none>        Ubuntu 22.04.4 LTS   5.15.0-119-generic   docker://20.10.24

6. master初始化不成功解决问题的方法【可选操作，集群有问题的小伙伴看！没有问题的忽略！！！】

可能存在的原因：

  • 由于没有禁用swap分区导致无法完成初始化；
  • 每个2core以上的CPU导致无法完成初始化；
  • 没有手动导入镜像；

解决方案:

  1. 检查上面的是否有上面的情况 
    free -h
lscpu
  2. 重置当前节点环境 
    [root@master231 ~]# kubeadm reset -f
  3. 再次尝试初始化master节点（略）

基于kubeadm部署worker组件：worker加入集群

1. 提前导入镜像

[root@worker232 ~]# wget http://192.168.16.253/Resources/Kubernetes/K8S%20Cluster/kubeadm/images/oldboyedu-slave-1.23.17.tar.gz
[root@worker232 ~]# docker load -i oldboyedu-slave-1.23.17.tar.gz
[root@worker232 ~]# docker image ls
REPOSITORY                                           TAG        IMAGE ID       CREATED       SIZE
registry.aliyuncs.com/google_containers/kube-proxy   v1.23.17   f21c8d21558c   2 years ago   111MB
registry.aliyuncs.com/google_containers/coredns      v1.8.6     a4ca41631cc7   3 years ago   46.8MB
registry.aliyuncs.com/google_containers/pause        3.6        6270bb605e12   3 years ago   683kB

[root@worker233 ~]# wget http://192.168.16.253/Resources/Kubernetes/K8S%20Cluster/kubeadm/images/oldboyedu-slave-1.23.17.tar.gz
[root@worker233 ~]# docker load -i oldboyedu-slave-1.23.17.tar.gz
[root@worker233 ~]# docker image ls
REPOSITORY                                           TAG        IMAGE ID       CREATED       SIZE
registry.aliyuncs.com/google_containers/kube-proxy   v1.23.17   f21c8d21558c   2 years ago   111MB
registry.aliyuncs.com/google_containers/coredns      v1.8.6     a4ca41631cc7   3 years ago   46.8MB
registry.aliyuncs.com/google_containers/pause        3.6        6270bb605e12   3 years ago   683kB

2. 将worker节点加入到master集群（注意，不要复制我的，而是根据你上一步master生成的token加入集群）

[root@worker232 ~]# kubeadm join 10.0.0.231:6443 --token uqix8a.2mg2ad5d50wvz8e6 \
--discovery-token-ca-cert-hash sha256:f55b3ba05b9ce9be67e17ba1aa0a60328c64f235b5673c0de0fea58b750e0950

[root@worker233 ~]# kubeadm join 10.0.0.231:6443 --token uqix8a.2mg2ad5d50wvz8e6 \
--discovery-token-ca-cert-hash sha256:f55b3ba05b9ce9be67e17ba1aa0a60328c64f235b5673c0de0fea58b750e0950

3. 验证worker节点是否加入成功（去master节点验证）

[root@master231 ~]# kubectl get nodes
NAME        STATUS     ROLES                  AGE    VERSION
master231   NotReady   control-plane,master   8m1s   v1.23.17
worker232   NotReady   <none>                 42s    v1.23.17
worker233   NotReady   <none>                 38s    v1.23.17

[root@master231 ~]# kubectl get no -o wide
NAME        STATUS     ROLES                  AGE    VERSION    INTERNAL-IP   EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION       CONTAINER-RUNTIME
master231   NotReady   control-plane,master   8m2s   v1.23.17   10.0.0.231    <none>        Ubuntu 22.04.4 LTS   5.15.0-119-generic   docker://20.10.24
worker232   NotReady   <none>                 43s    v1.23.17   10.0.0.232    <none>        Ubuntu 22.04.4 LTS   5.15.0-119-generic   docker://20.10.24
worker233   NotReady   <none>                 39s    v1.23.17   10.0.0.233    <none>        Ubuntu 22.04.4 LTS   5.15.0-119-generic   docker://20.10.24

部署CNI插件之Flannel

1. 线上学员部署【需要docker能够翻墙】

kubectl apply -f https://github.com/flannel-io/flannel/releases/latest/download/kube-flannel.yml

2. SVIP学员使用我给的资源清单

2.1 所有节点导入镜像
wget http://192.168.16.253/Resources/Kubernetes/K8S%20Cluster/CNI/flannel/images/v0.27.0/oldboyedu-flannel-v0.27.0.tar.gz
docker load -i oldboyedu-flannel-v0.27.0.tar.gz
2.2 修改Pod网段：接下来去231节点
[root@master231 ~]# wget http://192.168.16.253/Resources/Kubernetes/K8S%20Cluster/CNI/flannel/kube-flannel-v0.27.0.yml
[root@master231 ~]# grep 16 kube-flannel-v0.27.0.yml
      "Network": "10.244.0.0/16",
[root@master231 ~]# sed -i '/16/s#244#100#' kube-flannel-v0.27.0.yml
[root@master231 ~]# grep 16 kube-flannel-v0.27.0.yml
      "Network": "10.100.0.0/16",
2.3 部署服务组件
[root@master231 ~]# kubectl apply -f kube-flannel-v0.27.0.yml
namespace/kube-flannel created
serviceaccount/flannel created
clusterrole.rbac.authorization.k8s.io/flannel created
clusterrolebinding.rbac.authorization.k8s.io/flannel created
configmap/kube-flannel-cfg created
daemonset.apps/kube-flannel-ds created

[root@master231 ~]# kubectl get pods -A -o wide
NAMESPACE      NAME                                READY   STATUS    RESTARTS   AGE   IP           NODE        NOMINATED NODE   READINESS GATES
kube-flannel   kube-flannel-ds-5hbns               1/1     Running   0          14s   10.0.0.231   master231   <none>           <none>
kube-flannel   kube-flannel-ds-dzffl               1/1     Running   0          14s   10.0.0.233   worker233   <none>           <none>
kube-flannel   kube-flannel-ds-h5kwh               1/1     Running   0          14s   10.0.0.232   worker232   <none>           <none>
kube-system    coredns-6d8c4cb4d-k52qr             1/1     Running   0          50m   10.100.0.3   master231   <none>           <none>
kube-system    coredns-6d8c4cb4d-rvzd9             1/1     Running   0          50m   10.100.0.2   master231   <none>           <none>
kube-system    etcd-master231                      1/1     Running   0          50m   10.0.0.231   master231   <none>           <none>
kube-system    kube-apiserver-master231            1/1     Running   0          50m   10.0.0.231   master231   <none>           <none>
kube-system    kube-controller-manager-master231   1/1     Running   0          50m   10.0.0.231   master231   <none>           <none>
kube-system    kube-proxy-588bm                    1/1     Running   0          43m   10.0.0.232   worker232   <none>           <none>
kube-system    kube-proxy-9bb67                    1/1     Running   0          50m   10.0.0.231   master231   <none>           <none>
kube-system    kube-proxy-n9mv6                    1/1     Running   0          42m   10.0.0.233   worker233   <none>           <none>
kube-system    kube-scheduler-master231            1/1     Running   0          50m   10.0.0.231   master231   <none>           <none>
2.4 检查节点是否就绪
[root@master231 ~]# kubectl get nodes
NAME        STATUS   ROLES                  AGE   VERSION
master231   Ready    control-plane,master   27m   v1.23.17
worker232   Ready    <none>                 23m   v1.23.17
worker233   Ready    <none>                 23m   v1.23.17

[root@master231 ~]# kubectl get nodes -o wide
NAME        STATUS   ROLES                  AGE   VERSION    INTERNAL-IP   EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION       CONTAINER-RUNTIME
master231   Ready    control-plane,master   53m   v1.23.17   10.0.0.231    <none>        Ubuntu 22.04.4 LTS   5.15.0-119-generic   docker://20.10.24
worker232   Ready    <none>                 46m   v1.23.17   10.0.0.232    <none>        Ubuntu 22.04.4 LTS   5.15.0-119-generic   docker://20.10.24
worker233   Ready    <none>                 46m   v1.23.17   10.0.0.233    <none>        Ubuntu 22.04.4 LTS   5.15.0-119-generic   docker://20.10.24

验证CNI网络插件是否正常

1. 下载资源清单

[root@master231 ~]# wget http://192.168.16.253/Resources/Kubernetes/K8S%20Cluster/CNI/flannel/oldboyedu-network-cni-test.yaml

2. 应用资源清单

[root@master231 ~]# cat oldboyedu-network-cni-test.yaml
apiVersion: v1
kind: Pod
metadata:
  name: xiuxian-v1
spec:
  nodeName: worker232
  containers:
  - image: registry.cn-hangzhou.aliyuncs.com/yinzhengjie-k8s/apps:v1
    name: xiuxian
apiVersion: v1
kind: Pod
metadata:
  name: xiuxian-v2
spec:
  nodeName: worker233
  containers:
  - image: registry.cn-hangzhou.aliyuncs.com/yinzhengjie-k8s/apps:v2
    name: xiuxian

[root@master231 ~]# kubectl apply -f oldboyedu-network-cni-test.yaml
pod/xiuxian-v1 created
pod/xiuxian-v2 created

3. 访问测试

[root@master231 ~]# kubectl get pods -o wide
NAME         READY   STATUS    RESTARTS   AGE   IP           NODE        NOMINATED NODE   READINESS GATES
xiuxian-v1   1/1     Running   0          14s   10.100.1.2   worker232   <none>           <none>
xiuxian-v2   1/1     Running   0          14s   10.100.2.2   worker233   <none>           <none>

[root@master231 ~]# curl 10.100.1.4
<!DOCTYPE html>
<html>
  <head>
    <meta charset="utf-8"/>
    <title>yinzhengjie apps v1</title>
    <style>
       div img {
          width: 900px;
          height: 600px;
          margin: 0;
       }
    </style>
  </head>
  <body>
    <h1 style="color: green">凡人修仙传 v1 </h1>
    <div>
      <img src="1.jpg">
    <div>
  </body>
</html>

[root@master231 ~]# curl 10.100.2.2
<!DOCTYPE html>
<html>
  <head>
    <meta charset="utf-8"/>
    <title>yinzhengjie apps v2</title>
    <style>
       div img {
          width: 900px;
          height: 600px;
          margin: 0;
       }
    </style>
  </head>
  <body>
    <h1 style="color: red">凡人修仙传 v2 </h1>
    <div>
      <img src="2.jpg">
    <div>
  </body>
</html>

4. 删除pod

[root@master231 ~]# kubectl delete -f oldboyedu-network-cni-test.yaml
pod "xiuxian-v1" deleted
pod "xiuxian-v2" deleted

[root@master231 ~]# kubectl get pods -o wide
No resources found in default namespace.

kubectl工具实现自动补全功能

1. 添加环境变量

[root@master231 ~]# kubectl completion bash > ~/.kube/completion.bash.inc
[root@master231 ~]# echo source '$HOME/.kube/completion.bash.inc' >> ~/.bashrc
[root@master231 ~]# source ~/.bashrc

2. 验证自动补全功能

[root@master231 ~]# kubectl # 连续按2次tab键测试能否出现命令
alpha          auth           cordon         diff           get            patch          run            version
annotate       autoscale      cp             drain          help           plugin         scale          wait
api-resources  certificate    create         edit           kustomize      port-forward   set            
api-versions   cluster-info   debug          exec           label          proxy          taint          
apply          completion     delete         explain        logs           replace        top            
attach         config         describe       expose         options        rollout        uncordon
```**
# kubernetes # 容器 # 云原生
Logo
https://edu.csdn.net/learn/39067/627173?utm_source=2019755004

汇聚全球AI编程工具，助力开发者即刻编程。

更多推荐

cover

Agent之间怎么对话？A2A协议+多智能体协作+NL2SQL+对话状态跟踪+Vibe Coding+Spec Coding全讲透（附代码）

avatar AI编程社区

Claude Code安装与基础

本文介绍了ClaudeCode的完整使用指南，主要内容涵盖：1）Linux/Windows系统安装；2）三种工作模式选择；3）终端控制与后台任务管理；4）MCP工具集成外部服务；5）上下文压缩与记忆文件管理；6）高级功能如Hook定制、AgentSkill和SubAgent的创建使用。重点讲解了如何通过MCP连接Figma等工具实现精准设计还原，以及通过技能封装提高效率。文章还提供了版本回滚、图片

avatar AI编程社区
cover

Gemini 3.5多轮对话开发：上下文管理的实现思路

avatar AI编程社区