HarmonyOS 应用里面可以集成盘古NLP大模型吗?
应用里面可以集成盘古NLP大模型吗?如果可以的话,我们通过盘古NLP大模型进行语音交互可以吗?
我们希望是能够基于HarmonyOS端侧的能力,实现应用内的语音助手。我们也了解了实现语音助手的相关技术,主要是这几个方面:
ASR模块(Automatic Speech Recognition,语音识别),用于获取用户的指令,其中包括语音唤醒功能,
TTS模块(Text-To-Speech,语音合成),用于给出语音应答,
NLP模块(Natural Language Processing,自然语言处理),用于理解指令的语义,以便采取相应的动作,包括对话功能。
语音识别、语音合成这些能力,在API11里面有,但是好像没法做到下面两点:
被动唤醒,即“什么时候开始听”。这个阶段只监听唤醒词,当听到唤醒词时,进入主动聆听。
主动聆听,即“什么时候结束听”。这个阶段主动聆听用户的任何语音指令,然后对听到的内容进行分析处理。
如果能解决上面的两个问题,我们应该就能做出一个简单的语音助手了。有没有什么建议和实现方案?
HarmonyOS
赞
收藏 0
回答 1
待解决
相关问题
HarmonyOS 三方应用可以集成调用serviceExtensionAbility吗?
181浏览 • 1回复 待解决
mindspore可以搭载到鸿蒙应用里面吗?
3955浏览 • 1回复 待解决
HarmonyOS ArkUI-X工程里面自定义的UI组件可以在原生应用里面使用吗?
344浏览 • 1回复 待解决
HarmonyOS 应用项目配置;账号里面的项目和应用管理可以多账号管理吗?
151浏览 • 0回复 待解决
已经开发好了应用,如何将该应用打包集成到APP里面去
1818浏览 • 0回复 待解决
HarmonyOS appgallery创建应用时的大屏是指平板吗?
168浏览 • 1回复 待解决
HarmonyOS 共享包里面可以使用worker吗
464浏览 • 1回复 待解决
HarmonyOS 应用集成 Flutter
143浏览 • 1回复 待解决
社区的markdown里面可以写html吗?
3062浏览 • 2回复 已解决
请问下现在用arkTs 开发可以集成地图吗?如果可以集成地图,能在地图上渲染3D影像文件吗?
3660浏览 • 1回复 待解决
deveco studio里面可以实现3D场景的效果吗?
3880浏览 • 1回复 待解决
#鸿蒙通关秘籍#上个问题请教一下,HarmonyOS里面,怎么让应用间深度集成,但各自独立呢?
112浏览 • 1回复 待解决
HarmonyOS 在编码器回调中,可以给0大小的帧给编码器吗?
158浏览 • 1回复 待解决
在Fa模型下的UI可以直接被Stage中被使用吗
2543浏览 • 1回复 已解决
如何在HarmonyOS应用中集成地图功能?
129浏览 • 0回复 待解决
在DevEco Studio里面可以同时跑2个本地模拟器吗
5750浏览 • 1回复 待解决
Stage模型下开发的应用如何拉起FA模型开发的应用
1787浏览 • 1回复 待解决
请问watch3里面的应用程序多久可以增加呢
6685浏览 • 1回复 待解决
请问可以使用HUAWEI平板开发HarmonyOS应用吗?
3700浏览 • 1回复 待解决
HarmonyOS 参考文档编译curl集成到应用hap报错
381浏览 • 1回复 待解决
arkts中枚举里面可以声明方法吗?类似java中可以声明方法,然后每个枚举类可以实现它们
1836浏览 • 1回复 待解决
如何区分一个应用是FA模型还是Stage模型
1838浏览 • 1回复 待解决
HarmonyOS应用模型的构成要素有哪些?
319浏览 • 1回复 待解决
如何应用持续集成方案。
684浏览 • 1回复 待解决
使用ArkTS语言开发HarmonyOS应用如何集成HMS Core?
3482浏览 • 1回复 待解决
1、当前HarmonyOS Next暂不支持盘古大模型接入。
2、关于实现语音助手相关疑问,可以参考语音识别开发指南,实例中未使用麦克风实时监听,需要稍加改造,便可实现语音实时转文本。
语音识别参考链接:https://developer.huawei.com/consumer/cn/doc/harmonyos-guides-V5/speechrecognizer-guide-V5
改造步骤如下:
(1)修改module.json5文件,配置ohos.permission.MICROPHONE权限。
(2)修改startListening方法,开启录音:
(3)动态申请录音权限,需要在调用startListening方法前获得授权,参考文档: https://developer.huawei.com/consumer/cn/doc/harmonyos-guides-V5/request-user-authorization-V5
开启语音识别后,语音识别的结果在onResult回调中获取,注意onResult回调中的日志。