为 RTP-LLM 提供 Arm CPU 后端，助力 Arm AI 软件生态持续发展

原创

随着大语言模型（LLM）的普及与应用，AI 计算需求快速增长。许多 LLM模型运行在基于 GPU 的硬件上，而随着 Arm 架构不仅在边缘设备，而且在数据中心领域也愈发流行，如何让 RTP-LLM（实时推理框架）有效支持 Arm CPU 平台变得尤为重要。通过优化 LLM 在 Arm 平台的推理性能，可以进一步提升功耗效率和模型部署的灵活性。