关于OpenHarmony生态认证测试套件的集合XTS子系统

XTS子系统

 

简介

 

XTS子系统是OpenHarmony生态认证测试套件的集合，当前包括acts(application compatibility test suite)应用兼容性测试套件，后续会拓展dcts(device compatibility test suite)设备兼容性测试套件等。

 

XTS子系统当前包括acts与tools软件包：

 

• acts，存放acts相关测试用例源码与配置文件，其目的是帮助终端设备厂商尽早发现软件与OpenHarmony的不兼容性，确保软件在整个开发过程中满足OpenHarmony的兼容性要求。
• tools，存放acts相关测试用例开发框架。

 

系统类型

 

OpenHarmony支持如下几种系统类型：

 

• 轻量系统(mini system)

 

面向MCU类处理器例如Arm Cortex-M、RISC-V 32位的设备，硬件资源极其有限，支持的设备最小内存为128KiB，可以提供多种轻量级网络协议，轻量级的图形框架，以及丰富的IOT总线读写部件等。可支撑的产品如智能家居领域的连接类模组、传感器设备、穿戴类设备等。

 

• 小型系统(small system)

 

面向应用处理器例如Arm Cortex-A的设备，支持的设备最小内存为1MiB，可以提供更高的安全能力、标准的图形框架、视频编解码的多媒体能力。可支撑的产品如智能家居领域的IP Camera、电子猫眼、路由器以及智慧出行领域的行车记录仪等。

 

• 标准系统(standard system)

 

面向应用处理器例如Arm Cortex-A的设备，支持的设备最小内存为128MiB，可以提供增强的交互能力、3D GPU以及硬件合成能力、更多控件以及动画效果更丰富的图形能力、完整的应用框架。可支撑的产品如高端的冰箱显示屏。

 

目录

 

/test/xts
├── acts                # 测试代码存放目录
│   └── subsystem       # 标准系统子系统测试用例源码存放目录
│   └── subsystem_lite  # 轻量系统、小型系统子系统测试用例源码存放目录
│   └── BUILD.gn        # 标准系统测试用例编译配置
│   └── build_lite      # 轻量系统、小型系统测试用例编译配置存放目录
│       └── BUILD.gn    # 轻量系统、小型系统测试用例编译配置
└── tools               # 测试工具代码存放目录

 

约束

 

轻量系统用例开发语言是C，小型系统用例开发语言是C++。

 

使用说明

 

表 1 用例级别说明

 

 

表 2 用例粒度说明

 

 

表 3 测试类型说明

用例开发指导

 

根据测试系统选择测试框架和对应测试用例语言。

 

表 4 系统和测试框架、开发语言对应关系

 

 

C语言用例开发编译指导(适用于轻量系统产品用例开发)

 

示例：轻量系统测试用例开发

 

当前使用的测试框架是hctest，hctest测试框架支持使用C语言编写测试用例，是在开源测试框架unity的基础上进行增强和适配。

 

1.用例目录规范：测试用例存储到test/xts/acts仓中

 

├── acts
│ └──subsystem_lite
│ │ └── module_hal
│ │ │ └── BUILD.gn
│ │ │ └── src
│ └──build_lite
│ │ └── BUILD.gn

 

2.src目录下用例编写样例。

 

1.引用测试框架

 

#include "hctest.h"

 

使用宏定义LITE_TEST_SUIT定义子系统、模块、测试套件名称

 

/**  
* @brief  register a test suit named "IntTestSuite"  
* @param  test subsystem name  
* @param  example module name  
* @param  IntTestSuite test suit name  
*/
LITE_TEST_SUIT(test, example, IntTestSuite);

 

3.定义Setup与TearDown

 

命名方式：测试套件名称+Setup，测试套件名称+TearDown。

 

Setup与TearDown必须存在，可以为空函数。

 

4.使用宏定义LITE_TEST_CASE写测试用例

 

包括三个参数：测试套件名称，测试用例名称，用例属性(测试类型、用例粒度、用例级别)。

 

LITE_TEST_CASE(IntTestSuite, TestCase001, Function | MediumTest | Level1) 
{  
  //do something 
};

 

5.使用宏定义 RUN_TEST_SUITE注册测试套件

 

RUN_TEST_SUITE(IntTestSuite);

 

3.测试模块的配置文件(BUILD.gn)样例：

 

在每个测试模块目录下新建BUILD.gn编译文件，用于指定编译后静态库的名称、依赖的头文件、依赖的库等;具体写法如下：

 

import("//test/xts/tools/lite/build/suite_lite.gni")
hctest_suite("ActsDemoTest") {
    suite_name = "acts"
    sources = [
        "src/test_demo.c",
    ]
    include_dirs = [ ]
    cflags = [ "-Wno-error" ]
}

 

4.acts下BUILD.gn增加编译选项。

 

需要将测试模块加入到acts目录下的编译脚本中，编译脚本路径：test/xts/acts/build_lite/BUILD.gn。

 

lite_component("acts") {  
    ...
    if(board_name == "liteos_m") {
        features += [    
            ...
            "//xts/acts/subsystem_lite/module_hal:ActsDemoTest"
        ]    
    }
}

 

5.测试套件编译命令。

 

随版本编译，debug版本编译时会同步编译acts测试套件

 
说明： acts测试套件编译中间件为静态库，最终链接到版本镜像中 。

 

C语言用例执行指导(适用于轻量系统产品用例开发)

 

示例：轻量系统测试用例执行

 

将版本镜像烧录进开发板。

 

测试步骤

 

1. 使用串口工具登录开发板，并保存串口打印信息。
2. 重启设备，查看串口日志。

 

测试结果分析指导

 

基于串口打印日志进行分析;

 

每个测试套件执行以Start to run test suite开始，以xx Tests xx Failures xx Ignored结束。

 

C++语言用例开发编译指导(适用于小型系统、标准系统用例开发)

 

示例：小型系统测试用例开发(标准系统参考具体样例目录：global/i18n_standard)

 

当前使用的测试框架是hcpptest，hcpptest测试框架是在开源的googletest测试框架的基础上进行的增强和适配。

 

1.规范用例目录：测试用例存储到test/xts/acts仓中。

 

├── acts
│ └──subsystem_lite
│ │ └── module_posix
│ │ │ └── BUILD.gn
│ │ │ └── src
│ └──build_lite
│ │ └── BUILD.gn

2.测试模块src下用例编写样例：

 

1.引用测试框架：

 

需要引用gtest.h 如：#include "gtest/gtest.h"

 

#include "gtest/gtest.h"

 

2.定义Setup与TearDown

 

using namespace std;
using namespace testing::ext;
class TestSuite: public testing::Test {
protected:
// Preset action of the test suite, which is executed before the first test case
static void SetUpTestCase(void){
}
// Test suite cleanup action, which is executed after the last test case
static void TearDownTestCase(void){
}
// Preset action of the test case
virtual void SetUp()
{
}
// Cleanup action of the test case
virtual void TearDown()
{
}
};

 

3.使用宏定义HWTEST或HWTEST_F写测试用例

 

普通测试用例的定义：HWTEST(测试套名称， 测试用例名称， 用例标注)。

 

包含SetUp和TearDown的测试用例的定义 ：HWTEST_F(测试套名称， 测试用例名称，用例标注)。

 

宏定义包括三个参数：测试套件名称，测试用例名称，用例属性(测试类型、用例粒度、用例级别)。

 

HWTEST_F(TestSuite, TestCase_0001, Function | MediumTest | Level1) {
// do something
}

 

3.测试模块下用例配置文件(BUILD.gn)样例：

 

每个测试模块目录下新建BUILD.gn编译文件，用于指定编译后可执行文件的名称、依赖的头文件、依赖的库等;具体写法如下。每个测试模块将独立编译成.bin可执行文件， 该文件可直接push到单板上进行测试。

 

举例：

 

import("//test/xts/tools/lite/build/suite_lite.gni")
hcpptest_suite("ActsDemoTest") {
    suite_name = "acts"
    sources = [
        "src/TestDemo.cpp"
    ]

    include_dirs = [
        "src",
        ...
    ]
    deps = [
        ...
    ]
    cflags = [ "-Wno-error" ]
}

 

4.acts目录下增加编译选项(BUILD.gn)样例：

 

将测试模块加入到acts目录下的编译脚本中，编译脚本为：test/xts/acts/build_lite/BUILD.gn。

 

 lite_component("acts") {  
...
else if(board_name == "liteos_a") {
        features += [
            ...
            "//xts/acts/subsystem_lite/module_posix:ActsDemoTest"
        ]
    }
}

 

5.测试套件编译命令。

 

随版本编译，debug版本编译时会同步编译acts测试套件

 
说明： 小型系统acts独立编译成可执行文件(bin格式)， 在编译产物的suites\acts目录下归档。

 

C++语言用例执行指导(适用于小型系统、标准系统用例开发)

 

示例：小型系统测试用例执行

 

目前的用例执行采用nfs共享的方式，mount到单板去执行。

 

环境搭建

 

1. 使用网线或无线网络将开发板与PC进行连接。
2. 开发板配置IP、子网掩码、网关，确保开发板与PC处于同一个网段。
3. PC安装nfs服务器并完成注册，启动nfs服务。
4. 开发板配置mount命令，确保开发板可以访问PC端的nfs共享文件。

 

格式：mount [nfs服务器IP]:[/nfs共享目录] [/开发板目录] nfs

 

举例：

 

mount 192.168.1.10:/nfs /nfs nfs

 

用例执行

 

测试套件执行 ActsDemoTest.bin 触发用例执行，基于串口打印日志进行分析。

 

JS语言用例开发指导(适用于标准系统)

 

当前使用的测试框架是HJSUnit，用于支撑OpenHarmony application测试(特指基于JS应用框架使用 Javascript 语言开发的 APP)进行自动化测试。

 

用例编写基础语法

 

测试用例为 js 语言，必须满足 JavaScript 语言编程规范:

 

表 5

用例编写语法采用 jasmine 的标准语法，格式支持ES6格式。

 

1.规范用例目录：测试用例存储到entry/src/main/js/test目录。

 

├── BUILD.gn   
│ └──entry
│ │ └──src
│ │ │ └──main
│ │ │ │ └──js
│ │ │ │ │ └──default               
│ │ │ │ │ │ └──pages
│ │ │ │ │ │ │ └──index             
│ │ │ │ │ │ │ │ └──index.js        # 入口文件
│ │ │ │ │ └──test                  # 测试代码存放目录  
│ │ │ └── resources                # hap资源存放目录
│ │ │ └── config.json              # hap配置文件

 

2.index.js示例

 

// 拉起js测试框架，加载测试用例
import {Core, ExpectExtend} from 'deccjsunit/index'

export default {
    data: {
        title: ""
    },
    onInit() {
        this.title = this.$t('strings.world');
    },
    onShow() {
        console.info('onShow finish')
        const core = Core.getInstance()
        const expectExtend = new ExpectExtend({
            'id': 'extend'
        })
        core.addService('expect', expectExtend)
        core.init()
        const configService = core.getDefaultService('config')
        configService.setConfig(this)
        require('../../../test/List.test')
        core.execute()
    },
    onReady() {
    },
}

 

3.单元测试用例示例

 

// Example1: 使用HJSUnit进行单元测试
describe('appInfoTest', function () {    
    it('app_info_test_001', 0, function () {
        var info = app.getInfo()
        expect(info.versionName).assertEqual('1.0')
        expect(info.versionCode).assertEqual('3')
    })
}) 

 

JS语言用例编译打包指导(适用于标准系统)

 

hap包编译请参考标准系统js应用开发指导。

 

全量编译指导(适用于标准系统)

 

1.全量编译 test/xts/acts目录下执行编译命令： ./build.sh suite=acts system_size=standard

 

测试用例输出目录：out/release/suites/acts/testcases

 

测试框架&用例整体输出目录：out/release/suites/acts(编译用例时会同步编译测试套执行框架)

 

全量用例执行指导(适用于小型系统、标准系统)

 

搭建测试环境 Windows工作台下安装python3.7及以上版本，确保工作台和测试设备正常连接。

 

测试执行目录(对应编译生成的out/release/suites/acts目录)

 

├── testcase                       # 测试套文件存放目录 
│ └──xxx.hap                       # 测试套可执行hap文件
│ └──xxx.json                      # 测试套对应执行配置文件
├── tools                          # 测试框架工具目录
├── run.bat                        # window平台测试套启动执行文件
├── report                         # 测试报告生成目录

 

用例执行

 

1.在Windows工作台上，找到从Linux服务器上拷贝下来的测试套件用例目录，在Windows命令窗口进入对应目录，直接执行acts\run.bat。

2.界面启动后，输入用例执行指令。

全量执行：run acts

模块执行(具体模块可以查看\acts\testcases)：run –l ActsSamgrTest

3.查看测试报告。 进入acts\reports\，获取当前的执行记录，打开“summary_report.html”可以获取到测试报告。

 

相关仓

 

xts_acts

 

xts_tools