网站导航
> 文章列表 > K8S部署redis三主三从标准集群

K8S部署redis三主三从标准集群

网友: 文章列表 2024-03-22 02:26:47

K8S部署redis三主三从标准集群

docker pull redis:6.0

参考文章：

k8s-1.2.3部署redis-cluster+predixy代理集群 - 知乎

1、Redis部署在K8S中注意事项

1.1、Redis是一个有状态应用,不应使用deployment方式部署

        当我们把redis以pod的形式部署在k8s中时，每个pod里缓存的数据都是不一样的，而且pod的IP是会随时变化，这时候如果使用普通的deployment和service来部署redis-cluster就会出现很多问题，因此需要改用StatefulSet + Headless Service来解决。

1.1.1 StatefulSet是k8s中专门用于解决有状态应用部署的一种资源

  •    StatefulSet管理的每个Pod都有唯一的文档/网络标识，并且按照数字规律生成，而不是像Deployment中那样名称和IP都是随机的（比如StatefulSet名字为redis，那么pod名就是redis-0, redis-1 ...）
  •   StatefulSet中ReplicaSet的启停顺序是严格受控的，操作第N个pod一定要等前N-1个执行完才可以。
  •   StatefulSet中的Pod采用稳定的持久化储存，并且对应的PV不会随着Pod的删除而被销毁。

1.1.2 Headless Service就是没有指定Cluster IP的Service

相应的，在k8s的dns映射里，Headless Service的解析结果不是一个Cluster IP，而是它所关联的所有Pod的IP列表。

1.1.3 StatefulSet必须要配合Headless Service使用

它会在Headless Service提供的DNS映射上再加一层，最终形成精确到每个pod的域名映射，格式如下`$(podname).$(headless service name)`，有了这个映射，就可以在配置集群时使用域名替代IP，实现有状态应用集群的管理。

1.2、Redis数据持久化

redis虽然是基于内存的缓存，但还是需要依赖于磁盘进行数据的持久化，以便服务出现问题重启时可以恢复已经缓存的数据。在集群中，我们需要使用共享文件系统 + PV（持久卷）的方式来让整个集群中的所有pod都可以共享同一份持久化储存。

1.3、Redis集群配置

关于通过storageClass创建PVC自动分配PV，请参考文章：K8S使用持久化卷存储到NFS（NAS盘）_雨花山人的博客-CSDN博客

中的4.2 构建能自动分配PV的storageClass 章节。

1.3.1 部署6个POD

直接执行如下文件，可以在zo-dev空间下创建6个redis pod及无头service，并把redis的文件挂载到远程NFS上。

# redis-configmap.yaml
apiVersion: v1
kind: ConfigMap
metadata:name: redis-cluster-devnamespace: zo-dev
# 注意下面data中不能有任何注释，否则会导致应用启动不了
data:fix-ip.sh: |#!/bin/shCLUSTER_CONFIG="/data/nodes.conf"if [ -f ${CLUSTER_CONFIG} ]; thenif [ -z "${POD_IP}" ]; thenecho "Unable to determine Pod IP address!"exit 1fiecho "Updating my IP to ${POD_IP} in ${CLUSTER_CONFIG}"sed -i.bak -e '/myself/ s/[0-9]\\{1,3\\}\\.[0-9]\\{1,3\\}\\.[0-9]\\{1,3\\}\\.[0-9]\\{1,3\\}/'${POD_IP}'/' ${CLUSTER_CONFIG}fiexec "$@"redis.conf: |cluster-enabled yescluster-config-file /data/nodes.confcluster-node-timeout 10000protected-mode nodaemonize nopidfile /var/run/redis.pidport 6379tcp-backlog 511bind 0.0.0.0timeout 3600tcp-keepalive 1loglevel verboselogfile /data/redis.logdatabases 16save 900 1save 300 10save 60 10000stop-writes-on-bgsave-error yesrdbcompression yesrdbchecksum yesdbfilename dump.rdbdir /datarequirepass 123456appendonly yesappendfilename "appendonly.aof"appendfsync everysecno-appendfsync-on-rewrite noauto-aof-rewrite-percentage 100auto-aof-rewrite-min-size 64mblua-time-limit 20000slowlog-log-slower-than 10000slowlog-max-len 128#rename-command FLUSHALL  ""latency-monitor-threshold 0notify-keyspace-events ""hash-max-ziplist-entries 512hash-max-ziplist-value 64list-max-ziplist-entries 512list-max-ziplist-value 64set-max-intset-entries 512zset-max-ziplist-entries 128zset-max-ziplist-value 64hll-sparse-max-bytes 3000activerehashing yesclient-output-buffer-limit normal 0 0 0client-output-buffer-limit slave 256mb 64mb 60client-output-buffer-limit pubsub 32mb 8mb 60hz 10aof-rewrite-incremental-fsync yes
---
  redis-statefulset.yaml  暴露一个无头的集群服务，即不分配集群IP
apiVersion: v1
kind: Service
metadata:namespace: zo-devname: redis-cluster-dev
spec:clusterIP: Noneports:- port: 6379targetPort: 6379name: client- port: 16379targetPort: 16379name: gossip  # 集群三主三从互相之间的通信端口selector:app: redis-cluster-dev
---
  redis-statefulset.yaml  部署StatefulSet类型的应用6个POD,把redis的data通过storageclass产生pvc/pv备份到远端的NFS服务器
  关于storeageclass部署参看 https://blog.csdn.net/tzszhzx/article/details/130241866 的4.2 构建能自动分配PV的storageClass
apiVersion: apps/v1
kind: StatefulSet
metadata:namespace: zo-devname: redis-cluster-dev
spec:serviceName: redis-cluster-devpodManagementPolicy: OrderedReadyreplicas: 6selector:matchLabels:app: redis-cluster-devtemplate:metadata:labels:app: redis-cluster-devspec:affinity:podAntiAffinity: #定义pod反亲和性,目的让6个pod不在同一个主机上,实现均衡分布requiredDuringSchedulingIgnoredDuringExecution:- labelSelector:matchExpressions:- key: "app"operator: Invalues:- redis-cluster-devtopologyKey: "kubernetes.io/hostname"containers:- name: redisimage: redis:6.0ports:- containerPort: 6379name: client- containerPort: 16379name: gossipcommand: ["/etc/redis/fix-ip.sh", "redis-server", "/etc/redis/redis.conf"]  # 系统启动时把pod ip写入到redis.conf配置文件中env:- name: POD_IPvalueFrom:fieldRef:fieldPath: status.podIPvolumeMounts:- name: confmountPath: /etc/redis/readOnly: false- name: datamountPath: /datareadOnly: falsevolumes:- name: confconfigMap:name: redis-cluster-devdefaultMode: 0755   # 类似chmod 0755volumeClaimTemplates:- metadata:name: dataannotations:volume.beta.kubernetes.io/storage-class: "dev-nfs-storage"  # 通过storage-class把data数据备份到NFS上，会自动产生10G PVC声明 / 绑定自动产生的 PV,关于storeageclass部署参看 https://blog.csdn.net/tzszhzx/article/details/130241866 的4.2 构建能自动分配PV的storageClassspec:accessModes:- ReadWriteManyresources:requests:storage: 10Gi

1.3.2 设置三主三从

k8s-1.2.3部署redis-cluster+predixy代理集群 - 知乎   这篇文章通过自己构建一个redis镜像后通过redis-trib.rb来更便捷的实现redis集群的搭建。

我这里使用是直接进入某个POD，手动执行命令来搭建redis集群。不过可以看到nacos的集群搭建比上面2个方法更简单。K8S实战_雨花山人的博客-CSDN博客 9、K8S部署nacos集群 更加便捷。

  •  查看所有的redis node节点IP（k8s分配的IP）

查看6个POD部署在哪些node上，并可以查看某个pord被分配的IP。

kubectl get pods -n zo-dev  -o wide|grep redis-cluster-dev

更推荐下面的命令一次性可以看到所有的节点部署在哪个服务器上，注意6379后面带个空格

kubectl get pods -l app=redis-cluster-dev -n zo-dev -o jsonpath='{range.items[*]}{.status.podIP}:6379 '

会输出:

10.244.2.13:6379 10.244.16.12:6379 10.244.11.5:6379 10.244.8.25:6379 10.244.17.22:6379 10.244.9.14:6379

  • 随便选择一台node节点进入pod，或者通过k8s的dashborad中进入页
kubectl exec -it redis-cluster-dev-4 -n zo-dev -- sh
  • 拷贝如上IP端口执行该命令产生一个redis集群，并分配16384个hash槽。

        无密码不需要-a 123456

redis-cli -a 123456 --cluster create --cluster-replicas 1 10.244.2.13:6379 10.244.16.12:6379 10.244.11.5:6379 10.244.8.25:6379 10.244.17.22:6379 10.244.9.14:6379
  • 部署成功后，也可以通过该命令查看集群信息
kubectl exec -it redis-cluster-dev-0 -n zo-dev -- redis-cli -a 123456 cluster info
网络标签：

相关问题