OpenHarmony标准系统XTS子系统之应用兼容性测试指导 原创
XTS(X Test Suite)子系统是OpenHarmony生态认证测试套件的集合,当前包括:
acts(application compatibility test suite )应用兼容性测试套件,看护北向HAP兼容、OpenHarmony开发API兼容。
hats(Hardware Abstraction Test Suite )硬件抽象兼容性测试套,看护HDI层接口。
dcts(Distributed Compatibility Test Suite )分布式兼容性测试套,看护分布式兼容性。
本文描述了openharmony标准系统应用兼容性测试。流程如下:
步骤1 编译兼容性套件;
步骤2 本地执行:完成兼容性测试。
本文档以润和DAYU200开发板为例,详细描述如何在标准系统进行XTS认证测试。
编译测试版本和兼容性套件
1. 下载源码,并进行版本编译
下载源码请参考:https://gitee.com/openharmony/docs/tree/master/zh-cn/release-notes
版本编译请参考:https://gitee.com/openharmony/device_board_hihope/blob/master/README.md
编译完成后,log中显示如下:
post_process
=====build rk3568 successful.
编译所生成的文件都归档在 out/{RK3568}/目录下,结果镜像输出在 out/{RK3568}/packages/phone/images/ 目录下
2. 全量编译测试套件
acts套件编译
在test/xts/acts目录下执行编译命令:
./build.sh product_name=rk3568 system_size=standard
测试用例输出目录:out/release/suites/acts/testcases
测试框架&用例整体输出目录:out/release/suites/acts(编译用例时会同步编译测试套执行框架)
hats套件编译
在test/xts/hats目录下执行编译命令:
./build.sh product_name=rk3568 system_size=standard
测试用例输出目录:out/release/suites/hats/testcases
测试框架&用例整体输出目录:out/release/suites/hats(编译用例时会同步编译测试套执行框架)
dcts套件编译
在test/xts/dcts目录下执行编译命令:
./build.sh product_name=rk3568 system_size=standard
测试用例输出目录:out/release/suites/dcts/testcases
测试框架&用例整体输出目录:out/release/suites/dcts(编译用例时会同步编译测试套执行框架)
3. 编译xdevice工具
全量测试套件编译不会编译xdevice工具,但用例执行需要用到xdevice工具,xdevice工具在run.bat脚本的逻辑中是可以使用egg格式的版本的,这就说明我们可以通过编译的方式来生成我们需要的测试框架工具。具体编译方式如下: 1、 进入代码的test/xdevice目录,执行python setup.py install命令,然后该目录会生成一个dist文件夹,里面有一个xdevice.egg文件,在测试套件执行前,将其取出放在测试套的suites\acts\tools目录。 2、 在xdevice目录中找到extension目录,进入目录再次执行python setup.py install命令,然后extension目录也会多出一个dist目录,里面有一个xdevice_extension.egg文件,在测试套件执行前,将其取出放在测试套的suites\acts\tools目录。
说明:如不方便本地自己编译测试套件和xdevice工具,可以从openharmony 每日构建版本中获取编译好的测试套件和xdevice工具。 下载DAYU200的全量镜像包,例如: http://download.ci.openharmony.cn/version/Daily_Version/dayu200/20220421_020133/version-Daily_Version-dayu200-20220421_020133-dayu200.tar.gz 解压后在suites\acts目录就可以拿到编译好的测试套件和xdevice工具。
每日构建版本:http://ci.openharmony.cn/dailybuilds
本地执行兼容性测试
配置运行环境
- Windows上已获取到兼容性测试套件acts.zip,解压生成acts目录。
- 获取测试资源
从“https://gitee.com/openharmony-sig/compatibility/tree/master/test_suite/resource” 选择对应分支与系统类型下载resource文件,拷贝到acts\resource目录下 - 配置xdevice工具
将xdevice工具包放到测试套件suites\acts\tools目录下
4. 配置HDC端口号
新增PC机环境变量HDC_SERVER_PORT值8710
5. 配置测试参数
修改suites\acts\config下面user_config.xml文件如下参数:
IP配置为PC本地的IP;
Port配置为8710;
SN为开发板SN号,通过hdc_std list targets命令获取。
配置完成如下:
执行兼容性测试套件
搭建测试环境 Windows工作台下安装python3.7及以上版本,确保工作台和测试设备正常连接。
测试执行目录(对应编译生成的out/release/suites/acts目录)
├── testcase # 测试套文件存放目录
│ └──xxx.hap # 测试套可执行hap文件
│ └──xxx.json # 测试套对应执行配置文件
├── tools # 测试框架工具目录
├── run.bat # window平台测试套启动执行文件
├── report # 测试报告生成目录
-
在Windows工作台上,找到从Linux服务器上拷贝下来的测试套件用例目录,在Windows命令窗口进入对应目录,直接执行acts\run.bat
-
界面启动后,输入用例执行指令
· 全量执行
run acts
· 模块执行(具体模块可以查看\acts\testcases)
run –l ActsSamgrTest -
查看测试报告
进入acts\reports\,获取当前的执行记录,打开“summary_report.html”可以获取到测试报告。
hats和dcts套件执行和上述步骤类似,这里不在详细描述。
参考链接
兼容性测试指导书:https://gitee.com/openharmony-sig/compatibility/blob/master/test_suite/兼容性指导书.md
博主,在acts下执行套件编译后,生成tools目录里是空的,并且没有resource目录,请问下正常吗?是tools目录下就是空的需要去xdevices地底下编译然后拷贝到这里吗?