milvus 集群某节点关机引起的问题及解决
·
1、kafka、zookeeper 一直在重启
问题:开机后,kafka、zookeeper 的数据存储目录所属属性变为了 root:root
解决:
chown -R 1001:1001 /milvus/kafka
chown -R 1001:1001 /milvus/zookeeper
docker restart kafka
docker restart zookeeper
2、etcd 一直在重启,下线的的节点加不进去etcd集群
问题:重新加入etcd集群的时候,加入的是已有的集群,加入命令要变,还要删除之前的成员 id ,否则就会一直报成员已存在,还要修改 data 目录的属性为 1001:1001
解决:先在重启的机器上删除etcd,删除etcd的数据目录,并把 data 目录改为 1001:1001, 执行加入集群的命令,这是他会报错,去好的etcd节点连接上etcd集群,把之前下线的etcd成员id删掉,这是他就会重新生成新的成员id
重启节点:
docker rm -f etcd
rm -rf /etcd/data/
mkdir /etcd/data
chown 1001:1001 -R /etcd/data
docker run -d \
--name etcd \
--network host \
--restart always \
-v /milvus/etcd/data:/bitnami/etcd/data \
-v /etc/localtime:/etc/localtime \
-e ETCD_NAME=milvus-01 \
-e ALLOW_NONE_AUTHENTICATION=yes \
-e ETCD_INITIAL_ADVERTISE_PEER_URLS=http://10.0.41.84:3380 \
-e ETCD_LISTEN_PEER_URLS=http://0.0.0.0:3380 \
-e ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:3379 \
-e ETCD_ADVERTISE_CLIENT_URLS=http://10.0.41.84:3379 \
-e ETCD_INITIAL_CLUSTER_TOKEN=milvus-etcd-cluster \
-e ETCD_INITIAL_CLUSTER=milvus-01=http://10.0.41.84:3380,milvus-02=http://10.0.41.85:3380,milvus-03=http://10.0.41.86:3380 \
-e ETCD_INITIAL_CLUSTER_STATE=existing \
-e ETCD_ACTIVE_ENDPOINTS=http://10.0.41.85:3379,http://10.0.41.86:3379 \
-e ETCD_AUTO_COMPACTION_MODE=revision \
-e ETCD_AUTO_COMPACTION_RETENTION=1000 \
-e ETCD_QUOTA_BACKEND_BYTES=4294967296 \
-e ETCD_HEARTBEAT_INTERVAL=500 \
-e ETCD_ELECTION_TIMEOUT=2500 \
bitnami/etcd:3.5.14
健康的 etcd 节点:
docker exec -it etcd /bin/bash
$ etcdctl --endpoints http://:3379,http://10.0.41.84:3379,http://10.0.41.85:3379,http://10.0.41.86:3379 member list
$ etcdctl --endpoints http://:3379,http://10.0.41.84:3379,http://10.0.41.85:3379,http://10.0.41.86:3379 endpoint status --cluster -w table
$ etcdctl --endpoints=http://10.0.41.86:3379 member remove 6e0a21cc7034b2ef # id 为不健康的成员 id
3、kafka、zookeeper 一直在重启,logs -f 看日志报没有权限,关机后在开机,查看etcd、kafka、zookeeper的目录都是root
解决:
chown 1001:1001 etcd
chown 1001:1001 kafka
chown -R 1001:1001 etcd/data # 此时etcd要是还再重启,按照上面 2 的步骤操作
更多推荐



所有评论(0)