在2GB DAYU200上本地部署大语言模型
原创 精华
本文将第二届OpenHarmony技术大会上展示的《在OpenHarmony本地部署大语言模型》成果开源,开源地址:[InferLLM三方库](https:gitee.comopenharmonysigtpcccplusplusblobmasterthirdpartyInferLLMdocshapintegrate.md)在2GB的DAYU200开发板上部署alpaca模型,实现OpenHarmony设备本地部署语言模型。(注意:本地部署语言模型对设备RAM要求较高需要4GB左右,加上swap交换空间就可以)1.实现思路和步骤1.移植轻量级LLM模型推理框架...