
StratoVirt 基于 Rust 的 balloon 功能实践
StratoVirt 是计算产业中面向云数据中心的企业级虚拟化 VMM,实现了一套架构统一支持虚拟机、容器、Serverless 三种场景。StratoVirt 在轻量低噪、软硬协同、Rust 语言级安全等方面具备关键技术竞争优势。
背景介绍:
通常,在同一台服务器上存在着不同的用户,而多数用户对内存的使用情况是一种间断性的使用。也就是说用户对内存的使用率并不是很高。在服务器这种多用户的场景中,如果很多个用户对于内存的使用率都不高的话,那么会存在服务器实际占用的内存并不饱满这样一种情况。实际上各个用户使用内存的分布图可能如下图所示(黄色部分表示 used 部分,绿色部分表示 free 的部分)。
解决方案:
为了解决上述服务器上内存使用率低的问题,可以将虚拟机中暂时不用的内存回收回来给其他虚拟机使用。而当被回收内存的虚拟机需要内存时,由 host 再将内存归还回去。有了这样的内存伸缩能力,服务器便可以有效提高内存的使用率。在 StratoVirt 中,我们使用 balloon 设备来对虚拟机中的空闲内存进行回收和释放。下面详细了解一下 StratoVirt 中的 balloon 设备。
balloon 设备简介:
由于 StratoVirt 只是负责为虚拟机分配内存,只能感知到每个虚拟机总的内存大小。但是在每个虚拟机中如何使用内存,内存剩余多少。StratoVirt 是无法感知的,也就无法得知该从虚拟机中回收多少内存了。为此,需要在虚拟机中放置一个“气球(balloon)”设备。该设备通过 virtio 半虚拟化框架来实现前后端通信。当 Host 端需要回收虚拟机内部的空闲内存时,balloon 设备“充气”膨胀,占用虚拟机内部内存。而将占用的内存交给 Host 使用。如果虚拟机的空闲内存被回收后,虚拟机内部由于业务要求突然需要内存时。位于虚拟机内部的 balloon 设备可以选择“放气”缩小。释放出更多的内存空间给虚拟机使用。
balloon 实现:
balloon 的具体代码实现位于 StratoVirt 项目的/virtio/src/balloon.rs 文件中,相关细节可阅读代码理解。代码架构如下:
virtio
├── Cargo.toml
└── src
├── balloon.rs
├── block.rs
├── console.rs
├── lib.rs
├── net.rs
├── queue.rs
├── rng.rs
├── vhost
│ ├── kernel
│ │ ├── mod.rs
│ │ ├── net.rs
│ │ └── vsock.rs
│ └── mod.rs
├── virtio_mmio.rs
└── virtio_pci.rs
由于 balloon 是一个 virtio 设备,所以在前后端通信时也使用了 virtio 框架提供的 virtio queue。当前 StratoVirt 支持两个队列:inflate virtio queue(ivq)和 deflate virtio queue(dvq)。这两个队列分别负责 balloon 设备的“充气”和“放气”。
气球的充放气时,前后端的信息是通过一个结构体来传递。
因此后端向前端要内存的时候,只需要修改这个结构体中的 num_pages 的数值,然后通知前端。前端读取配置结构体中的 num_pages 成员。并与本身结构体中的 actual 对比,判断是进行 inflate 还是 deflate。
- inflate
如果是 inflate,那么虚拟机以 4k 页为单位去申请虚拟机内存,并将申请到的内存地址保存在队列中。然后通过 ivq 将保存了分配好的页面地址的数组分批发往后端处理(virtio queue 队列长度最大 256,也就是一次最多只能传输 1M 内存信息,对于大于 1M 的内存只能分批传输)。后端通过得到信息后,找到相应的 MemoryRegion,将对应的 page 标记为”WILLNEED“。然后通知前端,完成配置。 - deflate
如果是 deflate 则从保存申请到的内存地址队列中弹出一部分内存的地址。通过 dvq 分批次传输给后端处理。后端将 page 标记为“DONTNEED"。
下面结合代码进行说明:
定义 BalloonIoHandler 结构体作为处理 balloon 事件的主体。
其中包含上述的两个 virtio 队列inf_queue和def_queue,以及对应的触发事件描述符(EventFd)inf_evt和def_evt。两个队列均使用了Mutex锁,保证了队列在同一时刻只有一个使用者对该队列进行操作。保证了多线程共享的数据安全。
当相应的EventFd被触发后process_balloon_queue函数将会被调用。通过判断请求类型确定是“充气”还是”放气“,然后再从相应的队列中取数据进行内存标记。其中while let是 Rust 语言提供的一种循环模式匹配机制。借助该语法可以将队列中 pop 出来的所有数据遍历取出到elem中。
内存标记及优化:
标记内存在mark_balloon_page函数中进行实现,起初的实现思路为:将虚拟机传送过来的地址逐个进行标记。即,从队列中取出一个元素,转化为地址后立即进行标记。后来经过测试发现:balloon 设备在对页地址进行一页一页标记内存时花费时间巨大。而同时也发现通过虚拟机传回来的地址中有大段的连续内存段。于是通过改变标记方法:由原来的一页一页标记改为将这些连续的内存统一标记。大大节省了标记时间。下面代码为具体实现:
首先将 virtio 队列中的地址全部取出,并保存在 vec 中,然后将该 vec 进行从小到大的排序。有利于快速找出连续的内存段并进行标记。由于 hvaset 中的地址是按照从小到大排列的,因此可以从头开始遍历 hvaset,遇到不连续的地址后将前面的连续段进行标记。这样就完成了由原来逐页标记到连续内存段统一标记的优化。
经过测试,StratoVirt 的 balloon 速度也有了极大的提高。
(文章转载自公众号:架构与思维)
