龙蜥白皮书精选:敏捷开发场景下的调度器热升级 SDK 原创

龙蜥社区OpenAnolis
发布于 2023-3-23 16:48
浏览
0收藏

龙蜥白皮书精选:敏捷开发场景下的调度器热升级 SDK-开源基础软件社区

文/Cloud Kernel SIG

01 背景概述 

不同的应用程序,通常需要不同的调度策略来优化性能。而内核发布周期很长,升级内核的成本通常较高,优化无法快速规模化部署。并且针对特定应用的调度器优化,常常造成其他场景的性能回退,发生问题也难以回滚。通过传统热修复技术,可以在不升级内核的情况下,实现内核局部更新和优化,针对性提升一些应用的性能。但传统技术无法实现整个子系统升级,不支持大型调度特性,停机时间长。而调度器热升级技术解决了以上问题。

02 技术方案 

调度器热升级 SDK 通过模块化、数据重建、热替换等技术,实现调度器研发、测试、上线、维护的敏捷化和定制化。其中,模块化技术自动地从内核中解耦出调度器模块代码,面向内核开发者提供敏捷开发的 SDK 。热替换技术使得管理员可在毫秒级 downtime 内部署。数据重建技术将数据状态从升级前的调度器迁移到升级后的调度器。通过这些技术,可以实现定制化调度器,从而解决不同应用和负载需要不同调度器的问题,并实现生产可用。相关论文「Efficient Scheduler Live Update for Linux Kernel with Modularization 」已经发表在体系结构顶会 ASPLOS '23 上。软件架构如下图所示:

龙蜥白皮书精选:敏捷开发场景下的调度器热升级 SDK-开源基础软件社区

方案兼容多架构、内核版本。已测试通过的包括 AArch64、x86-64 架构,4.19、5.10 系列内核。对 3.10 系列内核提供有限支持。方案同时支持各种调度器特性,经测试验证通过的包括以下:微型调度器、物理核调度器(Core Scheduling)、删除限流功能(CFS bandwidth control)、龙蜥 CPU 混部特性等、上游 Linux 社区的各种 bugfix。 

03 应用场景及性能收益 

调度器热升级 SDK 适合于下面几种场景,这些场景均已得到验证。

  • 架构上有针对特殊硬件、应用、负载来定制化调度器的需求。
  • 管理员不能切换内核,或周期很长;或由于社区运作停止内核版发布和维护。
  • 内核开发者需要敏捷且可回滚地开发测试上线调度器。

某云 Serverless 服务,通过调度器热升级 SDK,将 Linux 上游物理核调度器特性,以及基于之上自研的算力稳定技术,安装到龙蜥 4.19 内核老系统上。最后通过这一优化,他们的客户实例减少了约 10% 的 P99 延迟并降低了性能的抖动,还大幅降低了启动时间。验证了调度器热升级方便支持大型特性以及扩展研发的能力。

某互联网金融服务公司,利用调度器热升级 SDK,敏捷地将他们自研的调度器优化安装到他们的核心业务中。包括了 Linux CFS 调度器和龙蜥内核的 CPU 资源隔离技术的优化。稳定减少了 5% 的 CPU 资源浪费,同时降低业务 rt。上线过程中,在 40,000 线程的环境中,停机时间小于 12 ms。最终优化效果得到运维人员的认可,调度器热升级 SDK 的易用性也得到研发人员的认可,希望继续使用调度器热升级 SDK 进行系统优化。

Cloud Kernel SIG 主页:

​https://openanolis.cn/sig​

附:

2022 龙蜥社区全景白皮书(或龙蜥公众号【OpenAnolis 龙蜥】回复关键字“白皮书”获取)

​https://openanolis.cn/assets/static/openanoliswhitepaper.pdf​

©著作权归作者所有,如需转载,请注明出处,否则将追究法律责任
收藏
回复
举报
回复
添加资源
添加资源将有机会获得更多曝光,你也可以直接关联已上传资源 去关联
    相关推荐