Kubernetes（k8s）搭建部署nacos集群

liuguizhong

2573人浏览 · 2025-07-03 09:15:00

liuguizhong · 2025-07-03 09:15:00 发布

一，下载官方k8s项目

这里使用官方提供的k8s文件修改。

git clone https://github.com/nacos-group/nacos-k8s.git

cd nacos-k8s

二，创建对应的 NFS StorageClass 和 PV

使用NFS作为PVC持久化。

官方提供了k8s的nfs部署，/nacos-k8s/deploy/nfs/ ，可以直接使用的官方的。

但是生产环境中通常会部署独立的 NFS 服务（比如用 NAS、GlusterFS、CephFS），而不是依赖容器内运行的 NFS Server。所以我这里使用了物理机的提前安装好的NFS服务。

1，StorageClass 定义

#创建新文件来定义

vim nfs-sc.yaml

apiVersion: storage.k8s.io/v1

kind: StorageClass

metadata:

name: managed-nfs-storage

provisioner: nfs.csi.k8s.io

parameters:

server: 172.16.81.129

share: /opt/k8s-data/nacos # <img draggable="false" role="img" class="emoji" alt="" src="https://s.w.org/images/core/emoji/15.1.0/svg/2b05.svg"> 修改为你在 NFS 上为 nacos 准备的路径

reclaimPolicy: Retain

mountOptions:

- vers=4.1

使用 kubectl apply -f nfs-sc.yaml 来创建它。

2，创建NFS路径

在 NFS 服务器上（172.16.81.129）：

mkdir -p /opt/k8s-data/nacos

chmod 777 /opt/k8s-data/nacos

确保这个路径已经在 /etc/exports 中：

/opt/k8s-data *(rw,sync,no_subtree_check,no_root_squash)

然后重新加载 NFS 配置：

exportfs -ra

3，确认 csi-driver 已正确安装

NFS CSI 驱动是实现自动创建 PV（动态供给），不用手动创建。

手动创建可自行参考：Kubernetes（k8s）搭建部署redis cluster集群

查看是否安装命令：

kubectl get csidriver

没有安装的话可以用以下方式安装：

#在线安装（目前最新版本v4.11.0）：

curl -skSL https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/v4.11.0/deploy/install-driver.sh | bash -s v4.11.0 --

#下载本地安装

git clone https://github.com/kubernetes-csi/csi-driver-nfs.git

cd csi-driver-nfs

./deploy/install-driver.sh v4.11.0 local

三，启动yaml 文件修改

修改默认的nacos-pvc-nfs.yaml 配置文件，有些配置不需要，或者需要更改配置。

1，增加namespace

方便以后管理，这里单独创建一个namaspace和其他隔离，不创建也行，会在默认namespace中。

vim namespace.yaml

apiVersion: v1

kind: Namespace

metadata:

name: backend-cluster

使用 kubectl apply -f namespace.yaml 来创建backend-cluster命名空间。

默认配置文件，也需增加

namespace: backend-cluster

2，修改 YAML的 serviceAccountName

由于使用的自定义的NFS，需要删除原来的账号配置，否则报错

# 原来

spec:

serviceAccountName: nfs-client-provisioner

改为 删除该行，或者改为默认的：

# 可选：使用默认服务账号

spec:

serviceAccountName: default

3，peer-finder-plugin-install 镜像修改

默认的官方镜像，只有amd版本，没有arm版本，按需修改。

initContainers:

- name: peer-finder-plugin-install

image: nacos/nacos-peer-finder-plugin:1.1

修改为下面的镜像，支持amd和arm系统。

initContainers:

- name: peer-finder-plugin-install

image: minstonehub/nacos-peer-finder-plugin:1.1

4，降低配置和改成软约束（可选）

已经有3个节点以上，配置足够，无需修改。这里测试只有2个node，所以需要修改配置，跑3个nacos。

修改方式一：

降低副本数到2，默认是3个副本

spec:

replicas: 2

修改方式二：

不想降低副本，需要3个副本测试集群。

当前 StatefulSet 配置中使用了 pod 反亲和性（PodAntiAffinity）：

affinity:

podAntiAffinity:

requiredDuringSchedulingIgnoredDuringExecution:

- labelSelector:

matchExpressions:

- key: "app"

operator: In

values:

- nacos

topologyKey: "kubernetes.io/hostname"

意思是：Nacos 的 Pod 必须调度到不同的节点（即 nacos-0、nacos-1、nacos-2 各在不同节点）

可以改成软约束（preferred）：

affinity:

podAntiAffinity:

preferredDuringSchedulingIgnoredDuringExecution:

- weight: 1

podAffinityTerm:

labelSelector:

matchExpressions:

- key: "app"

operator: In

values:

- nacos

topologyKey: "kubernetes.io/hostname"

这样如果能调度到不同节点就尽量不同，如果不能也能调度到相同节点。

如果服务器配置不够，也会无法启动，这里测试降低内存配置，2G改为1G。

resources:

requests:

memory: "1Gi"

cpu: "500m"

5，开启鉴权和使用外部数据库

数据库这里也是使用外部，不使用k8s内部的数据库，因为实际生产部署，数据库一般使用数据库官方集群部署。

data:

mysql.host: "198.19.249.12"

mysql.db.name: "nacos"

mysql.port: "3306"

mysql.user: "root"

mysql.password: "qwe123"

添加鉴权相关配置：

#这段配置，3.0以下需要加，3.0+以上不需要，默认开启

- name: NACOS_AUTH_ENABLE

value: "true"

3.0+配置4个足矣，3.0以下5个配置

---

apiVersion: v1

kind: Service

metadata:

name: nacos-headless

....

- name: NACOS_AUTH_ENABLE

value: "true"

- name: NACOS_SERVERS

value: "nacos-0.nacos-headless.default.svc.cluster.local:8848,nacos-1.nacos-headless.default.svc.cluster.local:8848,nacos-2.nacos-headless.default.svc.cluster.local:8848"

- name: NACOS_AUTH_TOKEN

value: ${your_nacos_auth_secret_token}

- name: NACOS_AUTH_IDENTITY_KEY

value: ${your_nacos_server_identity_key}

- name: NACOS_AUTH_IDENTITY_VALUE

value: ${your_nacos_server_identity_value}

selector:

matchLabels:

app: nacos

6，完整配置

修改nacos-pvc-nfs.yaml配置如下

nacos-k8s/deploy/nacos# cat nacos-pvc-nfs.yaml

# 请阅读Wiki文章

# https://github.com/nacos-group/nacos-k8s/wiki/%E4%BD%BF%E7%94%A8peerfinder%E6%89%A9%E5%AE%B9%E6%8F%92%E4%BB%B6

---

apiVersion: v1

kind: Service

metadata:

name: nacos-headless

namespace: backend-cluster

labels:

app: nacos

spec:

publishNotReadyAddresses: true

ports:

- port: 8848

name: server

targetPort: 8848

- port: 9848

name: client-rpc

targetPort: 9848

- port: 9849

name: raft-rpc

targetPort: 9849

## 兼容1.4.x版本的选举端口

- port: 7848

name: old-raft-rpc

targetPort: 7848

clusterIP: None

selector:

app: nacos

---

apiVersion: v1

kind: ConfigMap

metadata:

name: nacos-cm

namespace: backend-cluster

data:

mysql.host: "198.19.249.12"

mysql.db.name: "nacos"

mysql.port: "3306"

mysql.user: "root"

mysql.password: "qwe123"

---

apiVersion: apps/v1

kind: StatefulSet

metadata:

name: nacos

namespace: backend-cluster

spec:

podManagementPolicy: Parallel

serviceName: nacos-headless

replicas: 3

template:

metadata:

labels:

app: nacos

annotations:

pod.alpha.kubernetes.io/initialized: "true"

spec:

affinity:

podAntiAffinity:

#requiredDuringSchedulingIgnoredDuringExecution:

#- labelSelector:

preferredDuringSchedulingIgnoredDuringExecution:

- weight: 1

podAffinityTerm:

labelSelector:

matchExpressions:

- key: "app"

operator: In

values:

- nacos

topologyKey: "kubernetes.io/hostname"

initContainers:

- name: peer-finder-plugin-install

#image: nacos/nacos-peer-finder-plugin:1.1

image: minstonehub/nacos-peer-finder-plugin:1.1

imagePullPolicy: Always

volumeMounts:

- mountPath: /home/nacos/plugins/peer-finder

name: data

subPath: peer-finder

containers:

- name: nacos

imagePullPolicy: Always

image: nacos/nacos-server:latest

resources:

requests:

memory: "1Gi"

cpu: "500m"

ports:

- containerPort: 8848

name: client-port

- containerPort: 9848

name: client-rpc

- containerPort: 9849

name: raft-rpc

- containerPort: 7848

name: old-raft-rpc

env:

- name: NACOS_REPLICAS

value: "3"

- name: SERVICE_NAME

value: "nacos-headless"

- name: DOMAIN_NAME

value: "cluster.local"

- name: POD_NAMESPACE

valueFrom:

fieldRef:

apiVersion: v1

fieldPath: metadata.namespace

- name: MYSQL_SERVICE_HOST

valueFrom:

configMapKeyRef:

name: nacos-cm

key: mysql.host

- name: MYSQL_SERVICE_DB_NAME

valueFrom:

configMapKeyRef:

name: nacos-cm

key: mysql.db.name

- name: MYSQL_SERVICE_PORT

valueFrom:

configMapKeyRef:

name: nacos-cm

key: mysql.port

- name: MYSQL_SERVICE_USER

valueFrom:

configMapKeyRef:

name: nacos-cm

key: mysql.user

- name: MYSQL_SERVICE_PASSWORD

valueFrom:

configMapKeyRef:

name: nacos-cm

key: mysql.password

- name: SPRING_DATASOURCE_PLATFORM

value: "mysql"

- name: NACOS_SERVER_PORT

value: "8848"

- name: NACOS_APPLICATION_PORT

value: "8848"

- name: PREFER_HOST_MODE

value: "hostname"

- name: NACOS_SERVERS

#更改过命名空间，default改成backend-cluster

value: "nacos-0.nacos-headless.backend-cluster.svc.cluster.local:8848,nacos-1.nacos-headless.backend-cluster.svc.cluster.local:8848,nacos-2.nacos-headless.backend-cluster.svc.cluster.local:8848"

- name: NACOS_AUTH_TOKEN

value: "fkd5b2JB1MDfDCZm7aiKIynemyAF6k8tUkzKL/QVjN8="

- name: NACOS_AUTH_IDENTITY_KEY

value: "nacos"

- name: NACOS_AUTH_IDENTITY_VALUE

value: "nacos"

volumeMounts:

- name: data

mountPath: /home/nacos/plugins/peer-finder

subPath: peer-finder

- name: data

mountPath: /home/nacos/data

subPath: data

- name: data

mountPath: /home/nacos/logs

subPath: logs

volumeClaimTemplates:

- metadata:

name: data

annotations:

volume.beta.kubernetes.io/storage-class: "managed-nfs-storage"

spec:

accessModes: [ "ReadWriteMany" ]

resources:

requests:

storage: 20Gi

selector:

matchLabels:

app: nacos

最后启动kubectl apply -f nacos-pvc-nfs.yaml服务。

查看服务正常启动。

root@master:/opt/nacos-k8s/deploy/nacos# kubectl get pods -n backend-cluster -o wide

NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES

nacos-0 1/1 Running 0 52m 10.244.196.191 node01 <none> <none>

nacos-1 1/1 Running 0 52m 10.244.196.129 node01 <none> <none>

nacos-2 1/1 Running 0 52m 10.244.219.78 master <none> <none>

四，访问 Nacos Web 管理界面

此nacos版本为3.0+，管理界面不在是 ip:8848/nacos，而是直接访问8080端口，所以服务都是暴露8080端口。

版本3.0以下改成8848端口即可。

方式一：本地端口转发（最简单）

执行命令后，你就可以在本地浏览器访问 http://localhost:8080

kubectl port-forward -n backend-cluster svc/nacos-headless 8080:8080

适合测试、临时访问，不需要暴露服务到公网。

方式二：添加一个 NodePort 服务（暴露到集群外部）

修改你的服务配置 nacos-service.yaml（你需要手动创建一个非 Headless 的 Service）：

apiVersion: v1

kind: Service

metadata:

name: nacos

namespace: backend-cluster

labels:

app: nacos

spec:

type: NodePort

selector:

app: nacos

ports:

- name: client

port: 8080

targetPort: 8080

nodePort: 30848 # 任意30000-32767之间未占用端口

然后部署：

kubectl apply -f nacos-service.yaml

现在可以通过 任意 Node 的 IP + nodePort 访问 Nacos：

http://<NodeIP>:30848/nacos

例如：

http://192.168.88.11:30848

（你可以通过 kubectl get nodes -o wide 查看节点实际 IP）

方式三：Ingress 方式（生产推荐）

创建一个普通 Service（暴露给 Ingress 使用）

# nacos-service.yaml

apiVersion: v1

kind: Service

metadata:

name: nacos

namespace: backend-cluster

labels:

app: nacos

spec:

selector:

app: nacos

ports:

- port: 8080

targetPort: 8080

protocol: TCP

name: http

type: ClusterIP

注意：不要用 nacos-headless，Ingress 要用普通 Service 才能转发。

创建 Ingress 资源（以 nginx-ingress 为例）

# nacos-ingress.yaml

apiVersion: networking.k8s.io/v1

kind: Ingress

metadata:

name: nacos-ingress

namespace: backend-cluster

annotations:

nginx.ingress.kubernetes.io/backend-protocol: "HTTP"

spec:

rules:

- host: nacos.local

http:

paths:

- path: /

pathType: Prefix

backend:

service:

name: nacos

port:

number: 8080

应用配置：

kubectl apply -f nacos-service.yaml

kubectl apply -f nacos-ingress.yaml

浏览器访问测试，局域网本地配置hosts，如服务器IP为172.16.81.128

172.16.81.128 nacos.local

最后浏览器访问，Ingress两种模式访问

#1：使用 NodePort 暴露 Ingress（最常见)

#kubectl get svc -n ingress-nginx 查看暴露的端口，如：80:30201/TCP，然后访问

http://nacos.local:30201

#2: 使用 hostNetwork 模式（无需端口映射）

#如果安装 Ingress Controller 时用了 hostNetwork: true，那么它会直接监听节点的 80、443 端口，直接访问

http://nacos.local

任意node节点都可以访问，测试命令

#master

curl http://172.16.81.128:30201 -H "Host: nacos.local"

#node

curl http://172.16.81.129:30201 -H "Host: nacos.local"

https://edu.csdn.net/learn/39067/627173?utm_source=2019755004

汇聚全球AI编程工具，助力开发者即刻编程。

更多推荐

2026年企业级Agent工具深度横评：对标Claude Code的选型指南

最近调研了多款主流企业AI Agent工具，覆盖国内主流办公生态产品与海外成熟开发类Agent，最终选择了飞书 aily，核心原因是它能把AI生成能力和国内团队日常协作流程深度打通，不需要额外做跨系统适配就能直接落地到真实业务场景中。

AI编程社区

2026年Codex同类企业AI工具深度评测：5款主流产品横向选型指南

最近调研了Codex赛道的几款主流企业级AI工作Agent产品，覆盖日常办公、代码开发、业务流程自动化等多个核心场景，前后累计完成25道真实业务题的实测校验，最终选择了飞书 aily，核心原因是它不需要团队额外搭建数据打通链路，就能直接把AI生成的内容同步到现有协作体系中，大幅降低了AI落地的适配成本。