
Kubernetns 容器与VM的编排与监控实战
作者 |祝祥
来源 | 新钛云服(ID:newtyun)
转载请联系授权(微信ID:zlm935177782)
使用Kubernetes进行容器编排的好处是众所周知的。但是,如果您的业务不适合容器化,那又该怎么办?也许您有一个基于第三方VM的应用,该应用不太容易也不太合适进行容器化,又或者可能需要与Kubernetes平台运行不同的内核或OS。
您真正想要的是让Kubernetes与基于标准容器一起编排VM的方式,就像普通Pod一样。最近,有两个比较好的项目旨在使您做到这一点。分别是是KubeVirt和OpenShift CNV。
在此博客中,我将逐步介绍KubeVirt,您可以按照自己的步骤,使用Calico网络将KubeVirt添加到群集中,然后使用Calico网络策略来保护VM。
开始之前
我在开发集群中使用Ubuntu 20.04和两个裸机服务器。尽管我在“第1步”中对如何创建类似的开发集群进行了解释,但是如果您已经选择了其他Kubernetes或OpenShift环境,则可以安全地跳过它。
要求:
- 至少一台具有2个CPU,4GB Ram和20GB存储空间的主机
- kubectl命令行实用程序
- SSH客户端
KubeVirt安装与管理
步骤1:建立集群
在开始创建集群之前,让我们对主机进行初始化配置以适合Kubernetes。查看这个官方的教程(https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/)并准备您的主机。
让我们创建一个Kubernetes集群
执行以下命令来配置kubectl:
移除master上的污点,以便您可以在其上调度pod。
它应该返回以下内容:
步骤2:安装Calico
使用最新清单安装Calico
步骤3:安装KubeVirt
使用namespace,我们可以将资源隔离到逻辑模块中,并且可以更轻松地管理它们。
建议使用支持硬件虚拟化的主机,以确保您的主机能够使用virt-host-validate二进制文件。
如果主机缺少此命令,则可以使用发行版软件包管理器进行安装,也可以使用来检查kvm文件夹是否可用 ls /dev/kvm。
默认情况下,KubeVirt尝试利用硬件仿真。但是,此功能并非在所有环境中都可用,在这种情况下,您可以使用以下方式启用软件仿真:
应用这些清单并运行KubeVirt operator以自动安装所有必需的资源。
启用迁移功能。(该功能依赖于存储)
启用VNC代理功能组件。
您可以使用此命令检查KubeVirt的安装进度。
步骤4:创建一个简单的VM
首先,我们创建一个namespace来隔离此演示的资源。
现在,使用虚拟机实例(VMI)定制资源,我们可以创建与Kubernetes完全集成的VM。
请注意,如果您使用的是软件仿真,则启动虚拟机可能会非常慢,并且完成IP地址分配可能需要5到6分钟的时间。
通过使用您节点的IP地址通过服务节点端口进行访问,确认我们可以使用SSH访问VM 。默认密码是gocubsgo。
通过从新的虚拟机ping google来确认虚拟机可以访问外界。
步骤5:添加网络安全性
应用以下策略在其namespace中隔离VM。这将仅将允许入向为SSH的协议,并且阻止所有出现的流量VM。(取决于您的VM,您将需要其他策略,但是此简单策略对本教程很有用。)
SSH进入虚拟机,然后尝试再次ping google。
您将无法执行此操作,因为该策略将阻止所有从Pod发起的与外界的通信。这非常强大–您可以使用与保护Pod相同的范例来保护VM!
步骤6:访问虚拟机
现在我们已经为基于Kubernetes的VM管理设置了Kubevirt,现在让我们访问我们的VM。
- 使用NodePort服务和弱密码在外部公开VM时要小心
- 串行控制台仅可通过kubectl virt插件使用
SSH以root用户身份登录
通过virt:
SSH访问:
串行控制台:
不通过virt:
使用VNC:
- 如果尚未启用VNC
- 查找VNC服务节点端口
- 在以下位置访问VM
仅显示namespace VM_NAMESPACE下的VM。选择所需虚拟机所在的namespace。
步骤7:测试CDI
- 在应用之前,请确保填写DataVolume/VM清单中的所有变量以适合您的环境
- 尝试创建一个DataVolume
- 在VM清单中即时使用DataVolume
步骤8:清理
要清除本指南中使用的namespace和VM,可以运行以下命令
其他:故障排除
- 确保Kubernetes有足够的备用CPU/RAM来部署您请求的VM
- 确保硬件虚拟化受支持并且可用,或者ConfigMap中存在软件虚拟化标志
- 更改标志需要重新启动部署
- 确保服务选择器正确定位到VM Pod
- 检查Docker MTU和CNI插件MTU是否适合您的网络
- 使用kubectl virt console $VM_NAME_HERE以确保虚拟机已启动
从内部监控KubeVirt VM
部署Prometheus Operator
一旦准备好了k8s集群,第一步就是部署Prometheus Operator。原因是KubeVirt CR安装在群集上时将检测ServiceMonitor CR是否已存在。如果是这样,那么它将创建ServiceMonitors,这些ServiceMonitors被配置为可立即监控所有KubeVirt组件(virt-controller,virt-api和virt-handler)。
尽管本文中没有介绍监控KubeVirt本身,但是最好还是在部署KubeVirt之前先部署Prometheus Operator。
要部署Prometheus Operator,您需要首先创建其namespace,例如monitoring:
然后在新的namespace中部署operator:
部署完所有内容后,您可以删除helm下载的所有内容:
要记住的一件事是我们在此处添加的版本名称:kubevirt-prometheus。ServiceMonitor稍后声明我们时将使用版本名称。
部署具有持久性存储的VirtualMachine
现在,我们已经准备好所需要的一切。下面让我们配置虚拟机。
我们将从CDI的DataVolume(https://github.com/kubevirt/containerized-data-importer/blob/master/doc/datavolumes.md)资源PersistenVolume开始。由于我没有动态存储提供程序,因此我将创建2个PV,引用将声明它们的PVC。注意每个PV的claimRef。
有了永久性存储后,我们可以使用以下清单创建虚拟机:
注意,KubeVirt的VirtualMachine资源有一个VirtualMachine模板和一个dataVolumeTemplate。在VirtualMachine模板上,重要的是要注意我们已将VM命名为VM monitorable-vm,以后将使用该名称连接到其控制台virtctl。我们添加的标签prometheus.kubevirt.io: "node-exporter"也很重要,因为在VM内部安装与配置node-exporter时将会使用到它。
在dataVolumeTemplate上,需要注意的是,我们将PVC命名为cirros-dv,DataVolume资源将用它创建2个PVC,cirros-dv和cirros-dv-scratch。注意,cirros-dv和cirros-dv-scratch是PersistentVolume清单上引用的名称。名称必须匹配才能工作。
在VM内安装node-exporter
一旦VirtualMachineInstance运行,我们就可以使用virtctl console monitorable vm连接到它的控制台。如果需要用户和密码,请提供相应的凭据。如果您使用的是本指南中的同一磁盘映像,则用户和密码分别为cirros和gocubsgo
以下脚本将安装node-exporter并将虚拟机配置为在启动时候自启:
PS:如果您使用其他基础映像,请配置node-exporter以在启动时相应地启动
配置Prometheus抓取VM的node-exporter
配置Prometheus来抓取node-exporter非常简单。我们需要做的就是创建一个新的Service和一个ServiceMonitor:
让我们分解一下,以确保我们正确设置了所有内容。从Service开始:
在规范中,我们正在创建一个名为metrics的新端口,该端口将重定向到每个标记为prometheus.kubevirt.io: "node-exporter",此处为端口9100,这是node_exporter的默认端口号。
我们还在为服务本身贴上标签prometheus.kubevirt.io: "node-exporter",将由ServiceMonitor对象使用。现在让我们看看我们的ServiceMonitor规范:
由于我们的ServiceMonitor将部署在monitoring namespace中,而我们的服务则在default namespace中,因此我们需要设置namespaceSelector.any=true。我们还告诉ServiceMonitor,Prometheus需要从标记为prometheus.kubevirt.io: "node-exporter"以及哪些端口被命名为metrics。幸运的是,我们的service就是这么做的!
最后一件要注意的事。Prometheus配置可以设置为监视多个ServiceMonitors。我们可以通过以下命令查看prometheus正在监视的服务:
确保我们的ServiceMonitor具有Prometheus的Service Monitor Selector的所有标签。一个常见的选择器是我们在部署helm的prometheus时设置的版本名称!
测试
您可以通过端口转发Prometheus Web UI并执行一些PromQL来进行快速测试:
为确保一切正常,请访问localhost:9090/graph并执行PromQL up{pod=~"virt-launcher.*"}。Prometheus应该返回从monitorable-vm的node-exporter收集的数据。
您可以试用virtctl,停止和启动VM,以查看指标的行为。您会注意到,使用停止VM时virtctl stop monitorable-vm,VirtualMachineInstance被杀死,因此它也是Pod。这将导致我们的服务无法找到pod的端点,然后将其从Prometheus的目标中删除。
由于这种行为,下面的告警规则将无法正常工作,因为我们的目标实际上已经消失了,而不是降级了。
但是,如果VM在不停止的情况下连续崩溃,则pod不会被杀死,并且仍将监视目标。node-exporter永远不会启动或将与VM一起不断关闭,因此这样的警报可能会起作用:
结论:
在此博客文章中,首先,我们简单介绍以及快速安装体验了kubevirt, 然后我们使用node-exporter从KubeVirt VM中公开了监控指标。我们还配置了Prometheus Operator来收集这些指标。本文也是将Kubernetes监控最佳实践与KubeVirt VM运行的应用程序结合使用。
