#云原生征文#kubeadm部署一主两从的kubernetes集群 原创 精华
kubernetes集群大体上分为两类:一主多从和多主多从。
一主多从:一台Master节点和多台Node节点,搭建简单,但是有单机故障风险,适合用于测试环境
多主多从:多台Master节点和多台Node节点,搭建麻烦,适合用于生产环境
本文采用kubeadm部署一主两从的kubernetes集群,供测试使用,并包含了网络插件和一个简单nginx服务部署的例子
一、禁用swap分区
swapoff -a
swap分区指的是虚拟内存分区,它的作用是在物理内存使用完毕后,将磁盘空间虚拟成内存来使用
启动swap设备会对系统的性能产生非常负面的影响,这里把swap分区关闭
vim /etc/fstab
注释掉最后一行
二、安装docker(三个节点)
1.切换镜像源
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
2.查看前镜像源中支持的docker版本
yum list docker-ce --showduplicates
3.安装指定版本docker(带上–setopt=obsoletes=0,使用指定版本)
yum install --setopt=obsoletes=0 docker-ce-18.06.3.ce-3.el7 -y
4.添加配置文件
Docker在默认情况下使用的Cgroup Driver为cgroupfs,而kubernetes推荐使用systemd来代替cgroupfs
mkdir /etc/docker
cat <<EOF > /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"registry-mirrors": ["https://kn0t2bca.mirror.aliyuncs.com"]
}
EOF
5.启动docker
systemctl restart docker
systemctl enable docker
三、安装kubernetes组件(三个节点)
1.配置镜像源
vim /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyum.com/kubernetes/yum/doc/rpm-package-key.gpg
2.安装指定版本的kubeadm,kubelet和kubectl
yum install --setopt=obsoletes=0 kubeadm-1.23.6-0 kubelet-1.23.6-0 kubectl-1.23.6-0 -y
3.修改/etc/sysconfig/kubelet的内容,将里边内容替换
vim /etc/sysconfig/kubelet
KUBELET_CGROUP_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"
4.设置kubelet开机自启
systemctl enable kubelet
四、准备集群镜像
这步是为第五步的kubeadm init做准备,因为init会拉取镜像,而此镜像在kubernetes的仓库中,由于网络原因,无法连接,因此用如下方法
vim ima.sh
添加内容
images=(
kube-apiserver:v1.23.6
kube-controller-manager:v1.23.6
kube-scheduler:v1.23.6
kube-proxy:v1.23.6
pause:3.6
etcd:3.5.1-0
coredns:v1.8.6
)
for list in ${images[@]} ; do
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/$list
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/$list k8s.gcr.io/$list
done
docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:v1.8.6 k8s.gcr.io/coredns/coredns:v1.8.6
sh ima.sh
五、集群初始化(主节点)
1.主节点创建集群
kubeadm init \
--kubernetes-version=v1.23.6 \
--pod-network-cidr=10.0.0.0/16 \
--service-cidr=10.0.0.0/12 \
--apiserver-advertise-address=172.20.10.6
记录下最后结尾的几个命令
如果初始化失败了,使用如下命令清理环境,并重新初始化
kubeadm reset
rm -rf $HOME/.kube
systemctl restart kubelet
2.创建必要文件
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
六、备机初始化
使用kubeadm init 结尾提示的kubeadm join语句初始化备机,如果忘记kubeadm join语句可以通过如下命令在主节点获取join命令参数:
kubeadm token create --print-join-command
在两个备机执行改语句,加入集群,结果如下:
提示在control-plane执行kubectl get nodes查看节点状态,即在主节点执行,发现节点的status都是NotReady的状态,这是因为没有安装网络插件的原因。
kubectl get nodes
七、安装网络插件——calico
kubernetes支持多种网络插件,比如flannel、calica、canal等等,任选一种使用即可,本次选择calico。
网络插件没有安装的话,节点是 <font color=“#dd00dd”>NotReady</font> 状态,因为CoreDNS没有网络插件分配不到IP地址,会一直处于Pending状态
如果没有这个插件,kubedns无法启动,pod之间就无法通信。
<font color=“#dd00dd”>只在主节点执行即可,插件使用的是DaemonSet的控制器,它会在每个节点上都运行。</font><br />
1.获取配置文件并apply
curl https://projectcalico.docs.tigera.io/manifests/calico.yaml -O
2.查看服务状态,都是running了
再次查看节点状态,发现所有的节点都是 <font color=“#dd00dd”>Ready</font> 的状态了
八、部署CoreDNS
git clone https://github.com/coredns/deployment.git
yum -y install epel-release
yum -y install jq
cd deployment/kubernetes/
./deploy.sh -i 10.0.0.254 > coredns.yaml
kubectl apply -f coredns.yaml
用命令查看状态,发现pod处于ContainerCreating状态
kubectl get pod,svc -A
使用kubectl describe查看该coredns的pod,发现在拉取coredns的镜像,稍微等待一会。
kubectl describe pod coredns-799bc9dbc6-m7q4t -n kube-system
等待一会后查看events,发现终于拉取成功了
查看pod和svc状态,都是running的
kubectl get pod,svc -A
九、kubernetes-dashboard的部署
1.获取yaml文件
wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.4.0/aio/deploy/recommended.yaml
2.增加配置,使Dashboard暴露到外部
vim recommended.yaml
因为默认Dashboard只能集群内部访问,修改Service为NodePort类型,暴露到外部
3.apply修改后的recommended.yaml
kubectl apply -f recommended.yaml
4.查看kubernetes-dashboard的pod状态,都已经是running的
kubectl get pods -n kubernetes-dashboard
5.访问网址
https://NodeIP:30001
我的主节点地址为172.20.10.6,因此访问https://172.20.10.6:30001
6.创建service account并绑定默认cluster-admin管理员集群角色:
创建用户
kubectl create serviceaccount dashboard-admin -n kube-system
用户授权
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
获取用户Token
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')
7.使用输出的token登录Dashboard。
可以查看当前k8s的相关信息,例如nodes,namespace等
十、使用k8s简单部署一个nginx
1.根据yaml创建namespace
vim nginx-namespace.yaml
内容如下
apiVersion: v1 #类型为Namespace
kind: Namespace #类型为Namespace
metadata:
name: ns-test #命名空间名称
labels:
name: label-test #pod标签
创建namespace
[root@pg01 ~]# kubectl create -f nginx-namespace.yaml
namespace/ns-test created
查询namespace
[root@pg01 ~]# kubectl get namespace
NAME STATUS AGE
default Active 92m
kube-node-lease Active 92m
kube-public Active 92m
kube-system Active 92m
kubernetes-dashboard Active 21m
ns-test Active 5s
2.创建pod
一般不直接create pod,而是通过controller来创建pod。deployment为其中一种controller
拉取nginx镜像
docker pull nginx
编辑pod的yaml文件
vim nginx-deployment.yaml
内容如下
apiVersion: apps/v1
kind: Deployment
metadata:
namespace: ns-test
name: nginx-deployment
spec:
selector:
matchLabels:
app: nginx
replicas: 2
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: nginx:latest
ports:
- containerPort: 80
创建
kubectl create -f nginx-deployment.yaml
查询
kubectl get pods -n ns-test
kubectl get deployment -n ns-test
nginx-deployment 部署的2个 pod 全部成功
查看两个nginx分配的ip
kubectl get pods -o wide -n ns-test
访问测试
curl http://10.0.181.5
3.创建service
创建对应yaml文件
vim nginx-service.yaml
内容如下
apiVersion: v1
kind: Service
metadata:
namespace: ns-test
name: nginx-service
spec:
selector:
app: nginx
ports:
- protocol: TCP
port: 80
targetPort: 80
创建service
kubectl create -f nginx-service.yaml
查看service
kubectl get svc nginx-service -o wide -n ns-tes
访问测试
4.暴露端口部署nginx服务
nginx-service.yaml文件如下
apiVersion: v1
kind: Service
metadata:
labels:
app: nginx
name: nginx-service
namespace: ns-test
spec:
ports:
- port: 9000
name: nginx-service
protocol: TCP
targetPort: 80 # 容器nginx对外开放的端口 上面的dm已经指定了
nodePort: 31090 #外网访问的端口
selector:
app: nginx
type: NodePort
部署服务
kubectl create -f nginx-service.yaml
查看服务和端口
kubectl get svc nginx-service -n ns-test
测试如下
浏览器用主节点所在的ip访问k8s的nginx,我的主节点ip为172.20.10.6,则访问http://172.20.10.6:31090/,结果如下
【本文正在参加云原生有奖征文活动】,活动链接:https://ost.51cto.com/posts/12598”