如何在openEuler树莓派镜像上部署k8s+iSula集群(上篇)
在11.14号的开源软件供应链2020峰会上,笔者在openEuler展台展示了如何在树莓派上用k8s部署容器集群,树莓派操作系统为openEuler社区在9月份发布的20.09版本,容器为iSula;下面就带大家使用二进制包在树莓派上完成这些有趣的尝试。
01集群规划
环境建议至少两台Master节点,两台Node节点;Etcd数据库可直接部署在Master或Node节点,机器比较充足的话,可以部署在单独的节点上。
本次我们要部署的集群是多Master高可靠性集群,包含3个Master,3个Node;在这6个节点中部署3个etcd数据库节点。集群拓扑图如下所示:
集群规划如下:
02环境准备
接下来将基于二进制包的方式,手动部署每个组件,来组成k8s高可用集群;首先是每台树莓派的操作系统镜像安装及配置初始化。
2.1刷写树莓派镜像
我们需要给每个树莓派安装适合树莓派平台的openEuler镜像,镜像获取及相关操作可以参考openEuler社区里的raspberrypi sig组指引:
https://gitee.com/openeuler/raspberrypi
2.2环境初始化
<1> 关闭防火墙
# systemctl stop firewalld
# systemctl disable firewalld
<2> 关闭selinux
//临时生效
# setenforce 0
<3> 关闭swap
//临时关闭
# swapoff -a
<4> 添加host信息
# vi /etc/hosts
192.168.1.1 k8s-master1
192.168.1.2 k8s-master2
192.168.1.3 k8s-master3
192.168.1.4 k8s-node1
192.168.1.5 k8s-node2
192.168.1.6 k8s-node3
更改本节点主机名,拿k8s-master1为例,其他节点类似:
# vi /etc/hostname
k8s-master1
<5> 同步系统时间
各个节点之间需保持时间一致,因为自签证书是根据时间校验证书有效性,如果时间不一致,将校验不通过。
联网情况可使用如下命令(树莓派上ntpdate需要安装)
# ntpdate time.windows.com
如果不能联外网可使用 date 命令设置时间
# date -s 2020-11-18
# date -s 16:20:25
03部署Etcd集群
3.1自签证书
k8s集群安装配置过程中,会使用各种证书,目的是为了加强集群安全性。k8s提供了基于 CA签名的双向数字证书认证方式和简单的基于http base或token的认证方式,其中CA 证书方式的安全性最高。每个k8s集群都有一个集群根证书颁发机构(CA),集群中的组件通常使用CA来验证API server的证书,由API服务器验证kubelet客户端证书等。
证书生成操作可以在master节点上执行,证书只需要创建一次,以后在向集群中添加新节点时只要将证书拷贝到新节点上,并做一定的配置即可。我们计划在k8s-master2,k8s-master3及k8s-node1上部署etcd,下面就在 k8s-master2节点上来创建证书。
<1> k8s证书
如下是k8s各个组件需要使用的证书:
<2> cfssl工具下载
我们通过cfssl工具来生成证书,通过以下链接下载arm平台的cfssl,目前只有arm32的工具,但是也可以用在arm64平台上。
# curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-arm -o /usr/bin/cfssl
# curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-arm -o /usr/bin/cfssljson
# curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-arm -o /usr/bin/cfssl-certinfo
# chmod +x /usr/bin/cfssl*
3.2自签Etcd SSL证书
首先为etcd签发一套SSL证书,通过如下命令创建几个目录,/k8s/etcd/ssl 用于存放etcd自签证书,/k8s/etcd/cfg用于存放etcd配置文件,/k8s/etcd/bin用于存放 etcd执行程序。
# mkdir -p /k8s/etcd/{ssl,cfg,bin}
# cd /k8s/etcd/ssl
<1> 创建CA配置文件:ca-config.json
执行如下命令创建ca-config.json
# cat > ca-config.json <<EOF
{
"signing": {
"default": {
"expiry": "87600h"
},
"profiles": {
"etcd": {
"usages": [
"signing",
"key encipherment",
"server auth",
"client auth"
],
"expiry": "87600h"
}
}
}
}
EOF
说明:
signing:表示该证书可用于签名其它证书;生成的ca.pem证书中CA=TRUE;
profiles:可以定义多个profiles,分别指定不同的过期时间、使用场景等参数;后续在签名证书时使用某个profile;
expiry:证书过期时间;
server auth:表示client可以用该CA对server提供的证书进行验证;
client auth:表示server可以用该CA对client提供的证书进行验证。
<2> 创建CA证书签名请求文件:ca-csr.json
执行如下命令创建ca-csr.json:
# cat > ca-csr.json <<EOF
{
"CN": "etcd",
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"ST": "Shanghai",
"L": "Shanghai",
"O": "etcd",
"OU": "System"
}
],
"ca": {
"expiry": "87600h"
}
}
EOF
说明:
CN:Common Name,kube-apiserver从证书中提取该字段作为请求的用户名 (User Name);浏览器使用该字段验证网站是否合法;
key:加密算法;
C:国家;
ST:地区;
L:城市;
O:组织,kube-apiserver从证书中提取该字段作为请求用户所属的组 (Group);
OU:组织单位。
<3> 生成CA证书和私钥
# cfssl gencert -initca ca-csr.json | cfssljson -bare ca
说明:
ca-key.pem:CA私钥;
ca.pem:CA数字证书。
<4> 创建证书签名请求文件:etcd-csr.json
执行如下命令创建 etcd-csr.json:
# cat > etcd-csr.json <<EOF
{
"CN": "etcd",
"hosts": [
"192.168.1.2",
"192.168.1.3",
"192.168.1.4"
],
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"ST": "BeiJing",
"L": "BeiJing",
"O": "etcd",
"OU": "System"
}
]
}
EOF
说明:
hosts:需要指定授权使用该证书的IP或域名列表,这里配置所有etcd的IP地址;
key:加密算法及长度。
<5> 为etcd生成证书和私钥
# cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=etcd etcd-csr.json –hostname=192.168.1.2,192.168.1.3,192.168.1.4 | cfssljson -bare etcd
说明:
-ca:指定CA数字证书;
-ca-key:指定CA私钥;
-config:CA配置文件;
-profile:指定环境;
-hostname:指定证书所属的hostname或IP;
-bare:指定证书名前缀。
说明:
etcd-key.pem:etcd私钥;
etcd.pem:etcd数字证书。
证书生成完成,后面部署Etcd时主要会用到如下几个证书:
3.3Etcd数据库集群部署
etcd集群采用一主多从架构模式部署,集群通过选举产生leader,因此需要部署奇数个节点(3/5/7)才能正常工作;etcd使用raft一致性算法保证每个节点的一致性。
<1> 下载etcd
从 github上下载合适版本的 etcd
# cd /k8s/etcd
# wget https://github.com/etcd-io/etcd/releases/download/v3.3.25/etcd-v3.3.25-linux-arm64.tar.gz
# tar -zxf etcd-v3.3.25-linux-arm64.tar.gz
# cp etcd-v3.3.25-linux-arm64/{etcd,etcdctl} /k8s/etcd/bin
<2> 创建 etcd 配置文件:etcd.conf
# cfssl gencert -ca=ca.pem -ca-k
# cat > /k8s/etcd/cfg/etcd.conf <<EOF
# [member]
ETCD_NAME=etcd-1
ETCD_DATA_DIR=/k8s/data/
ETCD_LISTEN_PEER_URLS=https://192.168.1.2:2380
ETCD_LISTEN_CLIENT_URLS=https://192.168.1.2:2379,http://127.0.0.1:2379
# [cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS=https://192.168.1.2:2380
ETCD_ADVERTISE_CLIENT_URLS=https://192.168.1.2:2379
ETCD_INITIAL_CLUSTER=etcd-1=https://192.168.1.2:2380,etcd-2=https://192.168.1.3:2380,etcd-3=https://192.168.1.4:2380
ETCD_INITIAL_CLUSTER_TOKEN=etcd-cluster
ETCD_INITIAL_CLUSTER_STATE=new
ETCD_UNSUPPORTED_ARCH=arm64
# [security]
ETCD_CERT_FILE=/k8s/etcd/ssl/etcd.pem
ETCD_KEY_FILE=/k8s/etcd/ssl/etcd-key.pem
ETCD_TRUSTED_CA_FILE=/k8s/etcd/ssl/ca.pem
ETCD_PEER_CERT_FILE=/k8s/etcd/ssl/etcd.pem
ETCD_PEER_KEY_FILE=/k8s/etcd/ssl/etcd-key.pem
ETCD_PEER_TRUSTED_CA_FILE=/k8s/etcd/ssl/ca.pem
EOF
说明:
ETCD_NAME:etcd在集群中的唯一名称
ETCD_DATA_DIR:etcd数据存放目录
ETCD_LISTEN_PEER_URLS:etcd集群间通讯的地址,设置为本机IP
ETCD_LISTEN_CLIENT_URLS:客户端访问的地址,设置为本机IP
ETCD_INITIAL_ADVERTISE_PEER_URLS:集群内部通讯地址,设置为本机IP
ETCD_ADVERTISE_CLIENT_URLS:客户端通告地址,设置为本机IP
ETCD_INITIAL_CLUSTER:集群节点地址,以 key=value 的形式添加各个 etcd 的地址
ETCD_INITIAL_CLUSTER_TOKEN:集群令牌,用于集群间做简单的认证
ETCD_INITIAL_CLUSTER_STATE:集群状态
ETCD_CERT_FILE:客户端 etcd 数字证书路径
ETCD_KEY_FILE:客户端 etcd 私钥路径
ETCD_TRUSTED_CA_FILE:客户端 CA 证书路径
ETCD_PEER_CERT_FILE:集群间通讯etcd数字证书路径
ETCD_PEER_KEY_FILE:集群间通讯etcd私钥路径
ETCD_PEER_TRUSTED_CA_FILE:集群间通讯CA证书路径
<3> 创建etcd服务:etcd.service
通过EnvironmentFile指定etcd.conf作为环境配置文件
# cat > /k8s/etcd/etcd.service <<EOF
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
[Service]
Type=notify
EnvironmentFile=/k8s/etcd/cfg/etcd.conf
ExecStart=/k8s/etcd/bin/etcd
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF
etcd可以通过命令行选项和环境变量配置启动;命令行参数选项与环境变量命名的关系是命令行选项的小写字母转换成环境变量的大写字母时加一个“ETCD_”前缀,如:--name对应ETCD_NAME。
(注意:如果配置文件etcd.conf中已经定义了参数变量,则在etcd.service文件中ExecStart行不要再添加相同的启动参数,否则服务拉起的时候etcd会报参数冲突错误)
<4> 将etcd目录拷贝到另外两个节点
# scp -r /k8s root@k8s-master3:/k8s
# scp -r /k8s root@k8s-node1:/k8s
修改k8s-master3节点的/k8s/etcd/cfg/etcd.conf:
# [member]
ETCD_NAME=etcd-2
ETCD_LISTEN_PEER_URLS=https://192.168.1.3:2380
ETCD_LISTEN_CLIENT_URLS=https://192.168.1.3:2379
# [cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS=https://192.168.1.3:2380
ETCD_ADVERTISE_CLIENT_URLS=https://192.168.1.3:2379
修改k8s-node1节点的 /k8s/etcd/cfg/etcd.conf:
# [member]
ETCD_NAME=etcd-3
ETCD_LISTEN_PEER_URLS=https://192.168.1.4:2380
ETCD_LISTEN_CLIENT_URLS=https://192.168.1.4:2379
# [cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS=https://192.168.1.4:2380
ETCD_ADVERTISE_CLIENT_URLS=https://192.168.1.4:2379
<5> 启动 etcd 服务
首先在三个节点将etcd.service 拷贝到/usr/lib/systemd/system/下
# cp /k8s/etcd/etcd.service
/usr/lib/systemd/system/
# systemctl daemon-reload
在三个节点同时启动 etcd 服务
# systemctl start etcd
设置开机启动
# systemctl enable etcd
查看 etcd 集群状态
/k8s/etcd/bin/etcdctl endpoint health \
--endpoints=https://192.168.1.2:2379, https://192.168.1.3:2379,https://192.168.1.4:2379 \
--cacert=/k8s/etcd/ssl/ca.pem \
--cert=/k8s/etcd/ssl/etcd.pem \
--key=/k8s/etcd/ssl/etcd-key.pem
04部署Master组件
4.1自ApiServer SSL证书
k8s集群中所有资源的访问和变更都是通过kube-apiserver的REST API来实现的,首先在k8s-master2节点上部署kube-apiserver组件。
我们首先为apiserver签发一套SSL证书,过程与etcd自签SSL证书类似。通过如下命令创建几个目录,ssl用于存放自签证书,cfg用于存放配置文件,bin用于存放执行程序,logs存放日志文件。
# mkdir -p /k8s/kubernetes/{ssl,cfg,bin,logs}
进入kubernetes目录:
# cd /k8s/kubernetes/ssl
<1> 创建 CA 配置文件:ca-config.json
执行如下命令创建 ca-config.json
# cat > ca-config.json <<EOF
{
"signing": {
"default": {
"expiry": "87600h"
},
"profiles": {
"kubernetes": {
"usages": [
"signing",
"key encipherment",
"server auth",
"client auth"
],
"expiry": "87600h"
}
}
}
}
EOF
<2> 创建 CA 证书签名请求文件:ca-csr.json
# cat > ca-csr.json <<EOF
{
"CN": "kubernetes",
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"ST": "Shanghai",
"L": "Shanghai",
"O": "kubernetes",
"OU": "System"
}
],
"ca": {
"expiry": "87600h"
}
}
EOF
<3> 生成 CA 证书和私钥
# cfssl gencert -initca ca-csr.json | cfssljson -bare ca
<4> 创建证书签名请求文件:kubernetes-csr.json
执行如下命令创建 kubernetes-csr.json:
# cat > kubernetes-csr.json <<EOF
{
"CN": "kubernetes",
"hosts": [
"127.0.0.1",
"10.0.0.1",
"192.168.1.1",
"192.168.1.2",
"192.168.1.3",
"192.168.1.4",
"192.168.1.5",
"192.168.1.6",
"kubernetes",
"kubernetes.default",
"kubernetes.default.svc",
"kubernetes.default.svc.cluster",
"kubernetes.default.svc.cluster.local"
],
"key": {
"algo": "rsa",
"size": 2048
},
"names": [
{
"C": "CN",
"ST": "BeiJing",
"L": "BeiJing",
"O": "kubernetes",
"OU": "System"
}
]
}
EOF
说明:
hosts:指定会直接访问apiserver的IP列表,一般需指定etcd集群、kubernetes master集群的主机IP和kubernetes服务的服务IP,Node的IP一般不需要加入。
<5> 为kubernetes生成证书和私钥
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kubernetes-csr.json | cfssljson -bare kubernetes
4.2部署 kube-apiserver 组件
<1> 下载二进制包
# wget https://storage.googleapis.com/kubernetes-release/release/v1.18.10/kubernetes-client-linux-arm64.tar.gz
# wget https://storage.googleapis.com/kubernetes-release/release/v1.18.10/kubernetes-server-linux-arm64.tar.gz
解压后先将k8s-master2节点上部署的组件拷贝到/k8s/kubernetes/bin目录下:
# cp -p /usr/local/src/kubernetes/server/bin/{kube-apiserver,kube-controller-manager,kube-scheduler} /k8s/kubernetes/bin/
# cp -p /usr/local/src/kubernetes/server/bin/kubectl /usr/local/bin/
<2> 创建Node令牌文件:token.csv
Master apiserver启用TLS认证后,Node节点kubelet组件想要加入集群,必须使用CA签发的有效证书才能与apiserver通信,当Node节点很多时,签署证书是一件很繁琐的事情,因此有了 TLS Bootstrap 机制,kubelet会以一个低权限用户自动向 apiserver申请证书,kubelet的证书由apiserver动态签署。因此先为apiserver生成一个令牌文件,令牌之后会在Node中用到。
生成token,一个随机字符串,可使用如下命令生成token,apiserver配置的token必须与Node节点bootstrap.kubeconfig配置保持一致。
# head -c 16 /dev/urandom | od -An -t x | tr -d ' '
创建 token.csv,格式:token,用户,UID,用户组
# cat > /k8s/kubernetes/cfg/token.csv <<'EOF'
0bd319ce03411f546841d74397b1d778,kubelet-bootstrap,10001,"system:node-bootstrapper"
EOF
<3> 创建kube-apiserver配置文件:kube-apiserver.conf
kube-apiserver有很多配置项,可以参考官方文档查看每个配置项的用途:
(注意:“\” 后面不要有空格,不要有多余的换行,否则启动失败)
# cat > /k8s/kubernetes/cfg/kube-apiserver.conf <<'EOF'
KUBE_APISERVER_OPTS="—etcd-servers=https://192.168.1.2:2379,https://192.168.1.3:2379,https://192.168.1.4:2379 \
--bind-address=192.168.1.2 \
--secure-port=6443 \
--advertise-address=192.168.1.2 \
--allow-privileged=true \
--service-cluster-ip-range=10.0.0.0/24 \
--service-node-port-range=30000-32767 \
--enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,ResourceQuota,NodeRestriction \
--authorization-mode=RBAC,Node \
--enable-bootstrap-token-auth=true \
--token-auth-file=/k8s/kubernetes/cfg/token.csv \
--kubelet-client-certificate=/k8s/kubernetes/ssl/kubernetes.pem \
--kubelet-client-key=/k8s/kubernetes/ssl/kubernetes-key.pem \
--tls-cert-file=/k8s/kubernetes/ssl/kubernetes.pem \
--tls-private-key-file=/k8s/kubernetes/ssl/kubernetes-key.pem \
--client-ca-file=/k8s/kubernetes/ssl/ca.pem \
--service-account-key-file=/k8s/kubernetes/ssl/ca-key.pem \
--etcd-cafile=/k8s/etcd/ssl/ca.pem \
--etcd-certfile=/k8s/etcd/ssl/etcd.pem \
--etcd-keyfile=/k8s/etcd/ssl/etcd-key.pem \
--v=2 \
--logtostderr=false \
--log-dir=/k8s/kubernetes/logs \
--audit-log-maxage=30 \
--audit-log-maxbackup=3 \
--audit-log-maxsize=100 \
—audit-log-path=/k8s/kubernetes/logs/k8s-audit.log”
EOF
重点配置说明:
--etcd-servers:etcd 集群地址
--bind-address:apiserver 监听的地址,一般配主机IP
--secure-port:监听的端口
--advertise-address:集群通告地址,其它Node节点通过这个地址连接 apiserver,不配置则使用bind-address
--service-cluster-ip-range:Service 的 虚拟IP范围,以CIDR格式标识,该IP范围不能与物理机的真实IP段有重合。
--service-node-port-range:Service 可映射的物理机端口范围,默认30000-32767
--admission-control:集群的准入控制设置,各控制模块以插件的形式依次生效,启用RBAC授权和节点自管理。
--authorization-mode:授权模式,包括:AlwaysAllow,AlwaysDeny,ABAC(基于属性的访问控制),Webhook,RBAC(基于角色的访问控制),Node(专门授权由 kubelet 发出的API请求)。(默认值"AlwaysAllow")。
--enable-bootstrap-token-auth:启用TLS bootstrap功能
--token-auth-file:这个文件将被用于通过令牌认证来保护API服务的安全端口。
--v:指定日志级别,0~8,越大日志越详细
<4> 创建apiserver服务:kube-apiserver.service
# cat > /usr/lib/systemd/system/kube-apiserver.service <<'EOF'
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target
[Service]
EnvironmentFile=-/k8s/kubernetes/cfg/kube-apiserver.conf
ExecStart=/k8s/kubernetes/bin/kube-apiserver $KUBE_APISERVER_OPTS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF
<5> 启动kube-apiserver组件
启动组件
# systemctl daemon-reload
# systemctl start kube-apiserver
# systemctl enable kube-apiserver
检查启动状态
# systemctl status kube-apiserver
查看启动日志
# less /k8s/kubernetes/logs/kube-apiserver.INFO
<6> 将kubelet-bootstrap用户绑定到系统集群角色,之后便于Node使用token请求证书:
# kubectl create clusterrolebinding kubelet-bootstrap \
--clusterrole=system:node-bootstrapper \
--user=kubelet-bootstrap
4.3部署kube-controller-manager组件
<1> 创建kube-controller-manager配置文件:kube-controller-manager.conf
# cat > /k8s/kubernetes/cfg/kube-controller-manager.conf <<'EOF'
KUBE_CONTROLLER_MANAGER_OPTS="--leader-elect=true \
--master=127.0.0.1:8080 \
--address=127.0.0.1 \
--allocate-node-cidrs=true \
--cluster-cidr=10.244.0.0/16 \
--service-cluster-ip-range=10.0.0.0/24 \
--cluster-signing-cert-file=/k8s/kubernetes/ssl/ca.pem \
--cluster-signing-key-file=/k8s/kubernetes/ssl/ca-key.pem \
--root-ca-file=/k8s/kubernetes/ssl/ca.pem \
--service-account-private-key-file=/k8s/kubernetes/ssl/ca-key.pem \
--experimental-cluster-signing-duration=87600h0m0s \
--v=2 \
--logtostderr=false \
—log-dir=/k8s/kubernetes/logs"
EOF
重点配置说明:
--leader-elect:当该组件启动多个时,自动选举,默认true
--master:连接本地apiserver,apiserver 默认会监听本地8080端口
--allocate-node-cidrs:是否分配和设置Pod的CDIR
--service-cluster-ip-range:Service 集群IP段
<2> 创建kube-controller-manager服务:kube-controller-manager.service
# cat > /usr/lib/systemd/system/kube-controller-manager.service <<'EOF'
[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target
[Service]
EnvironmentFile=/k8s/kubernetes/cfg/kube-controller-manager.conf
ExecStart=/k8s/kubernetes/bin/kube-controller-manager $KUBE_CONTROLLER_MANAGER_OPTS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF
<3> 启动kube-controller-manager组件
启动组件
# systemctl daemon-reload
# systemctl start kube-controller-manager
# systemctl enable kube-controller-manager
检查启动状态
# systemctl status kube-controller-manager
查看启动日志
# less /k8s/kubernetes/logs/kube-controller-manager.INFO
4.4部署kube-scheduler组件
<1> 创建kube-scheduler配置文件:kube-scheduler.conf
# cat > /k8s/kubernetes/cfg/kube-scheduler.conf <<'EOF'
KUBE_SCHEDULER_OPTS="--leader-elect=true \
--master=127.0.0.1:8080 \
--address=127.0.0.1 \
--v=2 \
--logtostderr=false \
--log-dir=/k8s/kubernetes/logs"
EOF
<2> 创建 kube-scheduler服务:kube-scheduler.service
# cat > /usr/lib/systemd/system/kube-scheduler.service <<'EOF'
[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/GoogleCloudPlatform/kubernetes
After=network.target
[Service]
EnvironmentFile=/k8s/kubernetes/cfg/kube-scheduler.conf
ExecStart=/k8s/kubernetes/bin/kube-scheduler $KUBE_SCHEDULER_OPTS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF
<3> 启动kube-scheduler组件
启动组件
# systemctl daemon-reload
# systemctl start kube-scheduler
# systemctl enable kube-scheduler
查看启动状态
# systemctl status kube-scheduler
查看启动日志
# less /k8s/kubernetes/logs/kube-scheduler.INFO
4.5查看集群状态
<1> 查看组件状态
# kubectl get cs
未完待续
如何在openEuler树莓派镜像上部署k8s+iSula集群(下篇)
文章转载自公众号:openEuler