龙蜥高性能存储SIG月度动态：erofs容器镜像按需读时延优化60% 原创

高性能存储技术 SIG（Special Interest Group）目标：高性能存储技术兴趣组致力于存储栈性能挖掘，当前主要聚焦内核 io_uring 技术优化异步 IO 性能，使用持久化内存提升业务单成本性能，容器场景存储技术优化等课题。期望通过社区平台，打造标准的高性能存储技术软件栈，推动软硬件协同发展。 

01  本月 SIG 整体进展

本月合入 Anolis 主线 PR 18 个，涉及多个重要组件的更新（特性支持、性能优化、以及 bugfix 等）。

ANCK 5.10 正式支持高性能用户态块设备 ublk，将随下一个 ANCK 版本 5.10-14 发布。

tcmu zero copy 和 bypass data area 优化特性合入 ANCK 5.10，相比原生 tcmu 性能提升 1 倍以上。

erofs over fscache 优化 on-demand buffered 读，按需读取数据时延优化 ~60%。

dsms-storage 开始适配 Anolis 23，管理平台相关开发工作按计划进行中。

浪潮信息同学贡献多个 cve 修复和 bugfix。

02  项目具体进展

1、Anolis OS

CVE：CVE-2022-4696（PR1097），CVE-2022-1184（PR1140），CVE-2022-4139（PR1141），CVE-2022-47946 （PR1173） erofs：optimize on-demand IO path with buffered IO（PR1252）

ext4：fix fstests generic/626（PR1066），various bugfixes（PR1280/PR1292）

xfs：fix fstests xfs/546（PR1069/PR1144），stable fixes（PR1095）

reiserfs：remove useless new_opts in reiserfs_remount（PR1256/PR1302）

io_uring：fix uring-cmd task_work（PR1129）

ublk: [feature] support high performance ublk（PR1133），fix queue_size overflow（PR1230）

tcmu：[feature] improve tcmu performance（PR1255）

miscs: stable fixes for dm/md/nfs（PR1094）

2、容器镜像加速

ANCK 5.10 erofs fscache 进一步优化 on-demand buffered 读，在触发按需读数据时，用户态 daemon 通过 buffered 写方式将用户申请访问的数据写入缓存文件，再使用 buffered 读时命中缓存，时延优化 ~60%。

erofs 支持非 4k 页特性已合入上游主线，可支持非 4k 页架构（如 aarch64）的运行。

erofs-utils 支持 subpage（即小于 PAGE_SIZE 的块大小）特性，支持同一镜像多压缩算法；另外，多线程解压优化效果测试中。

3、用户态存储

ANCK 5.10 正式支持高性能用户态块设备 ublk，将随 5.10-14 版本发布。接下来将基于该版本刷新下分布式存储项目的 POC 数据。配套的用户态库改造中，目前已经向上游社区提出改造需求。

ebpf + io_uring 零拷贝方案已经发送到社区，目前已经迭代到 v2 版本，需要继续根据社区建议修改迭代。我们的想法是做成一个通用的解决方案，在通用块层支持 ebpf 做数据过滤、重定向等，当前从零拷贝这个共性需求切入。

tcmu zero copy 和 bypass data area 优化特性合入 ANCK 5.10，相比原生 tcmu 性能有显著提升，大块 IO 如 512k 读最大提升 1 倍，写提升 3 倍。

4、io_uring

目前正在对 c++ 库 asio 的 io_uring 代码进行优化，asio 当前默认使用 io_uring 的 fast poll 特性去进行网络请求处理，初步测试性能相比 epoll 还要差 ~10%。

我们正在将其进行 io_uring 的 multi-shot 特性改造，目前适配工作还在进行中。

io_uring multi-shot 的资料可参考：
​​https://github.com/axboe/liburing/wiki/io_uring-and-networking-in-2023​​

5、DSMS

dsms-storage 正在 Anolis 23 上进行适配，由于 Anolis 23 目前缺失一些相关依赖包，适配工作暂停。目前已经向社区提交了 issue，等待社区处理。dsms-engine 的开发工作按期进行中：​​https://gitee.com/anolis/dsms/issues/I62HO3​​

03 SIG 下一步计划

mkfs.erofs 支持用户设定的 block size（目前默认 4k），erofs 支持设置单独的目录 block size。

完成基于 5.10-014 内核版本的分布式存储项目 POC 数据更新。

推动社区关于 ebpf + io_uring 零拷贝方案的 review 并继续迭代。

完成 asio io_uring multi-shot 适配改造。

继续推进 dsms 适配 Anolis23 相关工作。

附录：SIG 项目一览

• io_uring
• virtiofs
• 容器镜像加速
• 数据库优化
• 用户态存储
• DSMS

详情内容见高性能存储技术 SIG，欢迎各位感兴趣的开发者加入共建。

高性能存储技术 SIG 主页：

​​https://openanolis.cn/sig/high-perf-storage​​​

—— 完 ——

加入龙蜥社群

加入微信群：添加社区助理-龙蜥社区小龙（微信：openanolis_assis），备注【龙蜥】与你同在；加入钉钉群（龙蜥交流群：13600003427或高性能存储SIG群：34264214）。