OpenHarmony 3.1 Release版本关键特性解析——OpenHarmony新音视

发布于 2022-6-1 17:43
浏览
0收藏

OpenAtom OpenHarmony(以下简称“OpenHarmony”)是由开放原子开源基金会(OpenAtom Foundation)孵化及运营的开源项目,目标是面向全场景、全连接、全智能时代,基于开源的方式,搭建一个智能终端设备操作系统的框架和平台,促进万物互联产业的繁荣发展。面对万物互联时代种类众多、且差异巨大的终端设备,我们为 OpenHarmony 打造了一款新的音视频引擎——HiStreamer。

一、HiStreamer产生背景
数字多媒体技术在过去的数十年里得到了飞速的发展,音乐、电话、电视、电影、视频会议等等,伴随着我们度过每一天。为了给用户提供丰富的多媒体处理能力,业界已经有比较成熟的音视频引擎,比如开源的音视频引擎 GStreamer。为什么我们还要打造一款新的音视频引擎呢?

随着万物互联时代的到来,越来越多的智能化设备出现在我们的生活中。比如:智能冰箱可以通过屏幕和声音,告诉人们储藏的菜品快要过期了;智能闸机可以通过人脸识别,自动完成检票工作;智能门锁可以通过语音和视频,提升开锁的效率和安全性...... 与PC、手机等标准(Standard)设备不同,很多智能化设备的CPU处理能力比较弱、内存也比较小,传统的音视频引擎无法支持此类设备。HiStreamer 应运而生,既支持轻量级的 Mini/Small 设备,也支持 Standard 设备(目前支持部分功能)。HiStreamer 在不断发展和完善中,未来将会支持 Standard 设备的更多功能。

二、“管道+插件”,实现弹性部署
为了支持 Mini/Small/Standard 设备,HiStreamer 采用管道(Pipeline)和插件(plugin)的软件架构,从而可以根据设备的硬件和需求差异进行弹性部署。HiStreamer 把音视频处理的每个过程抽象成节点,上一个节点的输出,作为下一个节点的输入,把多个节点连接起来,整体形成一个管道(Pipeline),完成音视频的数据读取、解封装、解码、输出的完整流程。同时,插件可以为 Pipeline 的节点提供丰富的扩展功能,让 HiSteamer 的音视频处理能力更强大。

1. Pipeline框架介绍 为了让大家理解 HiStreamer 的 Pipeline 框架,下面以 MP3 音频播放为例讲解: 输入是一个 MP3 文件,输出是播放出的音乐,这中间经过了很多步骤。 先来看一下 MP3 文件结构:

 

OpenHarmony 3.1 Release版本关键特性解析——OpenHarmony新音视-开源基础软件社区


图1 MP3文件结构

 

MP3 文件由 ID3 Metadata 容器头和若干 MP3 Frame(MP3 数据帧)构成。每个 MP3 Frame 又由 MP3 Header(MP3 头信息)和 MP3 Data 构成。这一系列的 MP3 Frame 称为 ES Data( Element Stream Data)。 ● ID3 Metadata:容器头,主要包括标题、艺术家、专辑、音轨数量等。 ● MP3 Header:包含 MP3 Sync word(标识 MP3 数据帧起始位置)和 MPEG 版本信息等。 ● MP3 Data:包含压缩的音频信息。 播放 MP3 文件,首先需要把 MP3 文件数据读进来,然后去掉 ID3 Metadata 容器头(即解封装),再把一系列 MP3 Frame 解压缩成 PCM(Pulse-Code Modulation)数据,最后驱动喇叭发声。这个过程按顺序可以抽象成如下四个节点:

OpenHarmony 3.1 Release版本关键特性解析——OpenHarmony新音视-开源基础软件社区

图2 MP3音频播放的Pipeline

 


1. 输入节点(MediaSourceFilter): 读取 MP3 原始数据,传给下一个节点。

2. 解封装节点(DemuxerFilter): 解析 ID3 Metadata 容器头信息,作为后续节点的参数输入,并且把一帧帧 MP3 Frame(即 ES Data)传给后续的解码节点。

3. 解码节点(AudioDecoderFilter): 把 ES Data 解码成 PCM 数据,传给输出节点。

4. 输出节点(AudioSinkFilter): 输出 PCM 数据,驱动喇叭发声。 由以上示例可知,HiStreamer 通过 Pipeline 框架把音视频处理的每个过程抽象成一个个节点。这些节点是解耦的,可以灵活拼装,从而可以根据业务需要拼装出不同的 Pipeline。同时,为了使多个节点能更好地协同工作,HiStreamer 还支持节点间的参数自动协商。

 


2. HiStreamer插件介绍

了解了 HiStreamer 的 Pipeline 框架后,我们再来看看 HiStreamer 插件。 HiStreamer 的 Pipeline 框架的很多节点(比如输入节点、解封装节点、解码节点、输出节点等)都支持插件扩展。通过插件,节点的功能变得更加丰富、更加强大。

插件的应用场景非常广泛,比如:

● 媒体格式非常多,且以后还会有新的格式产生,可以通过插件支持新的媒体格式。

● 不同 OS 平台或设备,处理方式存在差异,可以通过插件支持不同的处理方式。

● 不同类型的设备,需求不同,能提供的 CPU/ROM/RAM 资源多少也不同,也可以通过插件来支持。

 


3. 弹性部署

HiStreamer 基于管道(Pipeline)和插件(plugin)的软件架构,可以根据设备的硬件和需求差异实现弹性部署。

OpenHarmony 3.1 Release版本关键特性解析——OpenHarmony新音视-开源基础软件社区

图3 HiStreamer弹性部署

如图 3 所示,Mini 设备(比如音箱),它的 CPU 处理能力很弱,ROM/RAM 资源很少,需要的功能也比较少,只需要音频播放功能。

HiStreamer 可以配置成只支持音频播放,并且选择轻量级的插件,配置同步解码模式,减少资源消耗。

而 Small 设备,CPU 处理能力强一些,ROM/RAM 空间大一些,需要音频播放和视频播放功能。HiStreamer 可以配置成支持音视频播放,并且选择功能更强的插件。

三、HiStreamer逻辑架构
经过上面的介绍,我们了解了 HiStreamer 的“管道+插件”的软件架构。下面我们再来看看 HiStreamer 的详细的逻辑架构。

OpenHarmony 3.1 Release版本关键特性解析——OpenHarmony新音视-开源基础软件社区

图4 HiStreamer逻辑架构图

HiStreamer 主要由 HiStreamer 引擎和 HiStreamer 插件构成。

其中,HiStreamer引擎又分为以下四层:

● 业务封装层:基于 Pipeline 封装实现播放器、录音机功能,简化上层应用使用。

● Pipeline 框架层:提供 Pipeline 和若干个节点(输入、解封装、解码和输出)的实现,支持把多个节点连接在一起形成 Pipeline。

● 插件管理层:用于插件生命周期管理,支持动态加载或静态链接两种方式使用插件。

● 工具库层:提供框架依赖的工具,隔离操作系统差异,提供调测功能。 HiStreamer 插件,则分为平台软件插件和厂商硬插件两类:

● 平台软件插件:由 OpenHarmony 平台提供,可跨产品复用的软件算法插件。

● 厂商硬插件:由厂商提供的基于硬件加速的插件,如硬件加速的编解码插件。 应用开发者可以直接使用现成的插件来实现多媒体功能,节省大量的开发时间。

插件越丰富,HiStreamer 的音视频处理能力会更强大。欢迎广大开发者参与 HiStreamer 插件的开发,一起来丰富 HiStreamer 插件!

四、HiStreamer插件开发及实例
下面就为大家介绍 HiStreamer 插件的开发过程及实例讲解,感兴趣的小伙伴们赶紧学起来,一起参与 HiStreamer 插件开发吧~

1. 插件的开发 HiStreamer 插件的开发主要分为插件定义和功能实现两个部分。

(1)插件定义 HiStreamer 插件是通过 PLUGIN_DEFINITION 宏来定义的。以输入插件 FileSource 为例,定义代码如下:

std::shared_ptr<SourcePlugin> FileSourcePluginCreator(const std::string& name)
{
    return std::make_shared<FileSourcePlugin>(name);
}
Status FileSourceRegister(const std::shared_ptr<Register>& reg)
{
    SourcePluginDef definition;
    definition.name = "FileSource";
    definition.description = "File source";
    definition.rank = 100; // 100: max rank
    definition.protocol.emplace_back(ProtocolType::FILE);
    definition.creator = FileSourcePluginCreator;
    return reg->AddPlugin(definition);
}
//PLUGIN_DEFINITION传入四个参数
PLUGIN_DEFINITION(FileSource, LicenseType::APACHE_V2, FileSourceRegister, [] {});

使用 PLUGIN_DEFINITION 宏定义插件(即上面最后一行代码)时,传入了四个参数:

a) 插件名称:即示例中的“FileSource”。

b) License 信息:即示例中的“LicenseType::APACHE_V2”。

c) 插件注册函数:即示例中的“FileSourceRegister”,该函数描述了插件基本信息,包括插件对象创建函数,并且还调用 AddPlugin 把插件注册到系统中。

d) 插件反注册函数:可以传为空实现。

(2)功能实现 实现插件功能时,需根据要实现的插件类型,继承对应插件接口类,并实现相关接口。比如实现输入插件 FileSource,需要继承 SourcePlugin,并实现 SetSource、Read 等接口,代码如下:

// 定义FileSourcePlugin类继承SourcePlugin类
class FileSourcePlugin : public SourcePlugin {
// 实现SetSource接口, 设置要打开的文件路径
Status SetSource(std::shared_ptr<MediaSource> source) 
{
return OpenFile(source->GetSourceUri());
}
// 实现Read接口,它会读取数据用于后续处理
Status Read(std::shared_ptr<Buffer>& buffer, size_t expectedLen)
{
std::fread(bufData->GetWritableAddr(expectedLen), sizeof(char), expectedLen, fp_);
return Status::OK;
}
}

FileSource插件的完整代码可参考: https://gitee.com/openharmony/multimedia_histreamer/tree/master/engine/plugin/plugins/source/file_source

2. 插件的部署 使用 PLUGIN_DEFINITION 定义的 HiStreamer 插件,可以是单一功能的插件,也可以是有多个功能的插件包。每个这样的插件或插件包,可以独立编译成.a或者.so,分别对应以下两种部署方式:

● 静态部署:一般用在 mini 设备上,插件编译成静态库.a,链接到系统中。

● 动态部署:一般用在 small/standard 设备上,插件编译成动态库.so,放到系统指定目录下,动态加载运行。

3. 插件的运行 插件开发完成且部署到系统之后,HiStreamer 启动时就会自动完成插件的注册。下一步,就是运行插件了。 运行新实现的插件,需要先满足该插件的运行条件。比如:FileSource 只会在播放本地文件时运行;MP3 解码插件只会在播放 MP3 文件时运行......

开发者可以通过日志信息,查看是否运行了自己的插件。如果有别的插件注册到系统中,导致自己的插件无法运行时,可以卸载引起干扰的插件。卸载动态部署的插件,删除对应的.so即可;卸载静态部署的插件,需要修改编译脚本取消对应插件的编译。

五、结束语
OpenHarmony 欢迎广大开发者一起加入 HiStreamer 插件开发,扩展自己想要的媒体功能,共同丰富 HiStreamer 媒体生态!

同时,预告大家:HiStreamer 的下一个版本将为 Standard 设备增强更多功能,敬请期待! 本期关于 HiStreamer 的介绍就到这里了。 更多HiStreamer信息,请参考:​​https://gitee.com/openharmony/multimedia_histreamer​​

OpenHarmony 3.1 Release版本关键特性解析——OpenHarmony新音视-开源基础软件社区

收藏
回复
举报
回复
添加资源
添加资源将有机会获得更多曝光,你也可以直接关联已上传资源 去关联
    相关推荐