HarmonyOS Developer使用指南-兼容性/稳定性测试

兼容性测试

1 范围

1.1 背景及目的

软件的兼容性，一般是指某个软件能稳定地工作在若干个操作系统之上，而不会出现意外退出等问题。

对应用而言，是指其能够稳定工作在其安装的不同OS版本上，且由于应用版本更新周期较为频繁，应用也需要保证在安装运行的OS版本不变的情况下，应用自身升级后可以稳定地工作。

应用的兼容性主要有两个维度：

• 应用运行交互的依赖发生变化：不同的OS版本、不同的设备类型、不同的交互应用；
• 应用自身发生变化，而应用的运行依赖无变化：应用升级版本。

1.1 适用范围/测试范围

本标准规定了HarmonyOS应用的兼容性测试标准，适用于HarmonyOS应用软件的兼容性场景设计、开发及测试。

2 术语、定义和缩略语

2.1 术语、定义

2.1.1 崩溃

在用户正常操作的情况下，某个应用突然出现闪退、异常停止运行等完全不可用的情况。

2.1.2 无响应

整个软件系统是正常的，某个应用出现屏幕卡住不动或一段时间内操作未及时响应的故障，即用户俗称的应用死机、卡死、卡屏问题。

2.1.3 非 SDK 接口

非 SDK 接口指的是系统没有对外开放的接口；对非 SDK 接口的处理是API 抽象化的实现细节，接口可能会随时发生变更，所以应用如果通过反射或者 JNI 的方式间接使用非 SDK 接口会导致应用在新的系统版本上出现不兼容的问题。

2.1.4 原子化服务

参见​​原子化服务基础信息​​。

2.1.5 跨端迁移

参见​​跨端迁移场景定义​​。

2.1.6 服务卡片

参见​​服务卡片介绍​​。

2.1.7 设备类型

参见​​支持设备类型定义​​。

2.2 缩略语

无

3 测试环境准备

应用运行的设备不仅包括手机，还包括平板、大屏、手表等不同设备，仅考虑应用在手机设备上的兼容性远远不够，还需考虑其在所支持的不同类型设备上的兼容性处理。

开发者需准备其应用支持运行的不同类型的设备，并在其上验证应用的兼容性。

图1 测试环境

4 兼容性测试标准

继续细分上文提到的兼容性分析维度，得到下列分类：

• 应用与OS平台的兼容性处理：应用与运行的系统软件，在双方各自出现版本变化后，应用在系统软件版本上的兼容性处理表现，如应用需兼容处理系统废弃特性等；
• 应用升级的兼容性处理：应用升级后应用自身特性的兼容性处理表现，主要是应用用户数据和应用权限的兼容处理；
• 应用与其他交互应用的兼容性处理:应用与其交互的应用，在交互双方各自出现版本变化后，其交互场景的兼容性处理表现，如设备内应用交互、分布式应用跨设备交互等场景的兼容处理；

图2 兼容性分析视图

4 .1 应用与OS版本兼容

4.1.1 应用需配置其支持运行的系统软件版本对应的SDK版本号

4.1.2 应用安装卸载

4.1.3 应用启动

4.1.4 运行崩溃

4.1.5 运行无响应

4.1.6 使用非SDK接口

4.1.7 控件异常

4.1.8 界面布局自适应显示

4.1.9 支持64位

4.1.10 应用需兼容处理由于OS系统提供API能力差异导致的异常

4.2 应用升级兼容

4.2.1 应用升级安装

4.2.2 应用升级版本启动

4.2.3 应用升级版本用户数据继承

4.2.4 应用升级版本运行崩溃

4.2.5 应用升级版本运行无响应

4.2.6 应用类型不得更改

4.2.7 同名原子化服务类型不得更改

4.2.8 应用中已有服务卡片信息字段不建议修改（推荐项）

4.3 应用交互兼容

4.3.1 应用对外暴露接口需保证兼容

4.3.2 分布式业务（跨端迁移）应用需配置分布式兼容字段

4.3.3 与其他应用（同厂商或不同厂商）交互处理必须进行异常处理，如被交互应用不存在时保证自身不会崩溃

4.3.4 应用对外暴露组件属性不建议修改（推荐项）

5 修订记录

稳定性测试

1 范围

1.1 背景及目的

软件稳定性，指软件在持续操作时间内出错的概率，例如一天时间内会出错1次或几次。应用软件的稳定性严重影响着应用的用户体验，为构筑良好用户体验，须建立一套应用稳定性质量管控体系。

本标准规定了应用稳定性的衡量标准及测试方法与活动，旨在帮助提升应用上架应用市场前的质量，牵引生态内所有应用的稳定性改进，构建稳定和体验良好的应用生态。

1.2 适用范围/测试范围

本标准适用于HarmonyOS应用的稳定性质量评估。

2 规范性引用文件

无

3 术语、定义和略缩语

3.1 术语、定义

3.1.1 应用崩溃

应用崩溃：指在用户正常操作的情况下，某个应用突然出现闪退、异常停止运行等完全不可用的情况。包含故障：JS Crash、Native Crash等，如下表：

3.1.2 应用冻屏

应用冻屏：指整个软件系统是正常的，某个应用出现屏幕卡住不动或一段时间内操作未及时响应的故障，也即用户俗称的应用死机、卡死、卡屏、无响应问题。对应的具体故障为App Freeze。如下表：

3.1.3 应用稳定性故障

应用稳定性故障包含两种类型的具体故障，即“应用崩溃”和“应用冻屏”。

3.1.4 故障率

故障率：指单位时间内发生稳定性故障的次数，也称失效率，软件稳定性通常采用故障率来衡量。故障率值通过实验室的稳定性测试活动获得，故障率计算公式：

故障率 = F（对应类型故障总和）/ T（对应类型稳定性专项测试周期（单位：h））

本标准约定应用故障率通过“AI遍历测试”活动获得，因此，本标准中，故障率计算公式可推演为如下：

故障率 = F（应用崩溃故障数 + 应用冻屏故障数）/ T（AI遍历测试时长（单位：h））

综上所述，故障率相关定义总结如下：

3.1.5 内存泄漏

内存泄漏：指在用户正常操作的情况下，应用对内存使用不当，导致有限的内存资源申请超上限或使用完未被释放。内存泄漏会引起应用崩溃、应用冻屏等稳定性故障。实验室通过“内存泄漏检测测试”活动获得内存泄漏指标。

3.1.6 踩内存

踩内存：指在用户正常操作的情况下，程序指令非法访问内存地址，也称为内存越界。踩内存会造成应用崩溃、应用冻屏等稳定性故障。实验室通过“踩内存检测测试”活动获得踩内存指标。

3.1.7 内存资源异常

内存资源异常包含两种类型的具体故障，即“内存泄漏”和“踩内存”。

内存资源异常指标通过实验室的稳定性测试活动获得，将应用出现内存资源异常的次数作为衡量指标。

3.1.8 应用稳定性测试时长

应用稳定性测试时长：应用稳定性各测试活动周期统称为应用测试时长。

3.2 缩略语

无

4 测试环境准备

测试环境需符合应用本身业务的要求或依赖。

5 稳定性测试标准

5.1 总体框架

本标准由“稳定性衡量标准”和“测试方法与活动”两部分构成：

• 稳定性衡量标准：软件稳定性通常采用“故障率”来衡量，同时考虑到内存资源异常是导致应用出现软件故障的主要原因，因此将内存资源异常次数也作为应用稳定性衡量的一个维度。故本标准从故障率和内存资源异常两个维度来衡量应用稳定性质量。
• 测试方法与活动：包含AI遍历测试、内存泄漏检测测试、踩内存检测测试三种测试方法，用于支持本标准测试活动，以完成稳定性标准验收和稳定性质量评估。

框架图示如下：

5.2 稳定性衡量标准

5.2.1 故障率标准

故障率指标：故障率＜ 1次/h 为达标，否则不达标。

说明

若应用具备跨设备业务能力，在进行上架测试时须包含分布式协同业务场景，且测试结果满足故障率要求。其中同系统版本分布式协同业务场景为必选测试，跨系统版本分布式协同业务场景为可选测试。

5.2.2 内存资源异常标准

应用内存资源异常指标：应用内存资源异常次数等于0为达标，否则不达标。

说明

若应用具备跨设备业务能力，在进行上架测试时须包含分布式协同业务场景，且测试结果满足内存资源异常次数要求。其中同系统版本分布式协同业务场景为必选测试，跨系统版本分布式协同业务场景为可选测试。

5.3 测试方法与活动

5.3.1 总体策略

根据应用是否支持分布式业务场景，定义了应用在各场景下测试方法选取策略：

说明

“同系统版本跨设备场景”是指应用的分布式业务运行在相同版本的HarmonyOS设备上。

“跨系统版本跨设备场景”是指应用的分布式业务运行在不同版本的HarmonyOS设备上。

5.3.2 应用稳定性测试时长要求

应用稳定性测试时长要求：

本标准约定，应用稳定性测试时长最长为40分钟，若应用的所有控件已全部覆盖10遍，但是时长仍未达到40分钟的，则以所有控件覆盖10遍实际耗时为准。

应用稳定性测试时长推导过程：

应用稳定性测试在实验室中进行，测试时无法像真实用户使用那样长时间运行，因此通过增加应用操作频率来缩短测试时长，使实验室测试在较短时间内达到和真实用户使用等效的效果。

大数据统计显示，当前TOP应用类型中，单应用人均使用时长为12小时/月，单应用每个页面停留平均时间为161秒，实验室测试时将页面停留时间缩短到2秒（平均一个页面有20个控件，对每个控件做1次操作需要100ms），平均每个应用约100个页面，则对一个应用遍历10次，需要40分钟；因此实验室约40分钟就可以完成真实用户1个月的应用操作体验和页面覆盖。为保证测试充分度，在40分钟之内，尽量对应用进行更多次的遍历，若应用的所有控件已全部覆盖10遍，但是时长仍未达到40分钟的，则以所有控件覆盖10遍实际耗时为准。

下表是常用类型应用的“大数据统计使用时长”和“换算到实验室的测试时长”：

说明

应用类型参考自​​华为应用市场​​对应用的分类。

5.3.3 AI遍历测试方法

5.3.4 内存泄漏检测测试方法

5.3.5 踩内存检测测试方法

6 修订记录

文章转载自：​​https://developer.harmonyos.com/cn/docs/documentation/doc-guides-V3/app-stability-testing-0000001136273618-V3​​