基于 Neptune100的XTS子系统之应用兼容性测试指导原创

润和软件HiHope

发布于 2022-4-22 15:49

浏览

1收藏

XTS（X Test Suite）子系统是OpenHarmony生态认证测试套件的集合，当前包括：
acts（application compatibility test suite ）应用兼容性测试套件，看护北向HAP兼容、OpenHarmony开发API兼容。 hats（Hardware Abstraction Test Suite ）硬件抽象兼容性测试套，看护HDI层接口。 dcts（Distributed Compatibility Test Suite ）分布式兼容性测试套，看护分布式兼容性。
本文基于 Neptune100移植XTS子系统，分析轻量系统的ACTS应用兼容性测试套件移植案例。轻量系统因系统能力限制，兼容性测试在系统初始化阶段进行；并且各设备烧录工具存在差异，导致自动化工具（xDevice工具）无法实现真正的自动适配，因此认证执行方式不对合作伙伴进行限制。流程如下：
步骤1 编译适配：XTS子系统加入到编译组件中，随版本一起编译；
步骤2 本地执行：完成兼容性测试；
编译适配
产品解决方案适配
需要在产品解决方案配置文件中增加 xts_acts与 xts_tools组件定义（vendor\hihope\neptune_iotlink_demo\config.json）

  {
    "subsystem": "xts",
    "components": [
      { 
        "component": "xts_acts",
        "features":
          [
          "config_ohos_xts_acts_utils_lite_kv_store_data_path = \"/data\"",
          "enable_ohos_test_xts_acts_use_thirdparty_lwip = true"
        ]
      },
      { "component": "xts_tools", "features":[] }
    ]
  }
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.

1.config_ohos_xts_acts_utils_lite_kv_store_data_path选项声明在 test\xts\acts\utils_lite\kv_store_hal\BUILD.gn。在移植适配 XTS子系统时，还必须要加上这一行 config_ohos_xts_acts_utils_lite_kv_store_data_path = “/data” ，如果不加的话，config_ohos_xts_acts_utils_lite_kv_store_data_path等于空字符串“”，没有起到提供默认值的作用。
2.enable_ohos_test_xts_acts_use_thirdparty_lwip 选项声明在 test\xts\acts\communication_lite\lwip_hal\BUILD.gn，默认为true。
编译链接
在文件 vendor\hihope\neptune_iotlink_demo\config.json中，Neptune100需要链接的ACTS部件测试库文件写在了bin_list里的force_link_libs里。

"bin_list": [
{
  "enable": "true",
  "force_link_libs": [
      "module_ActsParameterTest",
      "module_ActsBootstrapTest",
      "module_ActsDfxFuncTest",
      "module_ActsHieventLiteTest",
      "module_ActsSamgrTest",
      "module_ActsUtilsFileTest",
      "module_ActsKvStoreTest",
      "module_ActsWifiServiceTest"
  ]
}
],
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.

然后在文件 device\soc\winnermicro\wm800\BUILD.gn里组装编译链接选项，需要通过链接选项指定需要链接的 ACTS的测试套库文件，会使用到–whole-archive和–no-whole-archive链接选项。–whole-archive可以把在其后面出现的静态库包含的函数和变量输出到动态库，–no-whole-archive则关掉这个特性。
XTS子系统会编译到 test\xts\tools\lite\hctest\src\hctest.c文件，启动XTS提供的初始化宏函数 CORE_INIT初始化 InitTestSuiteMgr函数实现的服务。由于没有显式调用init函数，所以要使用–whole-archive将它强制链接。
相关代码片段如下：

# config bin from vendor/<board_name>/<product_name>/config.json
foreach(bin_file, bin_list) {
  ......

  if (build_enable == "true") {
      # force link invisible function ,which ar to lib
      ldflags += [
        "-L" + "${out_product_path}/libs",
        "-Wl,--whole-archive",
      ]
      foreach(force_link_lib, bin_file.force_link_libs) {
        ldflags += [ "-l${force_link_lib}" ]
      }
      ......
      ldflags += [ "-Wl,--no-whole-archive" ]

      deps += [ "//test/xts/tools/lite:tools" ]
      deps += [ "//test/xts/acts/build_lite:acts" ]
  }
      ......
}
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.

注意：需要使用hb命令触发debug版本（非debug版本不会触发测试编译）
Neptune100的XTS子系统编译流程
hb编译构建工具读取config.json
通过 hb工具读取系统配置文件（其中涉及文件：vendor\hihope\neptune_iotlink_demo\config.json）获取参与编译的子系统以及组件信息。XTS测试支持对各个子系统、部件的接口进行测试，产品解决方案配置了哪些子系统才会对这些配置的子系统进行测试。
XTS编译配置文件
通过gn工具读取 BUILD.gn文件并执行生成 .a文件（XTS子系统gn文件位置：test\xts\acts\build_lite\BUILD.gn）。
对于轻量系统，支持的测试套件主要包含communication_lite、startup_lite、iot_hardware_lite、security_lite、hiviewdfx_lite、distributed_schedule_lite、update_lite、utils_lite等子系统及其部件。
all_features会读取轻量系统全部acts测试套件：

if (ohos_kernel_type == "liteos_m") {
all_features += [
  "//test/xts/acts/communication_lite/lwip_hal:ActsLwipTest",
  "//test/xts/acts/communication_lite/wifiservice_hal:ActsWifiServiceTest",
  "//test/xts/acts/utils_lite/file_hal:ActsUtilsFileTest",
  "//test/xts/acts/startup_lite/syspara_hal:ActsParameterTest",
  "//test/xts/acts/iot_hardware_lite/iot_controller_hal:ActsWifiIotTest",
  "//test/xts/acts/utils_lite/kv_store_hal:ActsKvStoreTest",
  "//test/xts/acts/security_lite/huks/liteos_m_adapter:ActsHuksHalFunctionTest",
  "//test/xts/acts/hiviewdfx_lite/hilog_hal:ActsDfxFuncTest",
  "//test/xts/acts/hiviewdfx_lite/hievent_hal:ActsHieventLiteTest",
  "//test/xts/acts/distributed_schedule_lite/system_ability_manager_hal:ActsSamgrTest",
  "//test/xts/acts/update_lite/dupdate_hal:ActsUpdaterFuncTest",
  "//test/xts/acts/startup_lite/bootstrap_hal:ActsBootstrapTest",
]
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.

判断非debug版本，all_features置空（非debug版本XTS不参与编译）：

if (ohos_build_type == "debug" && ohos_test_args != "notest") {
  _all_features = ""
  _product_json = rebase_path("${product_path}/config.json")
  foreach(one_feature, all_features) {
    _all_features = _all_features + one_feature + ","
  }
  _args = [
    "--method_name",
    "filter_by_subsystem",
    "--arguments",
    "testsuites=${_all_features}#product_json=${_product_json}",
  ]
  features += exec_script(rebase_path("//test/xts/tools/lite/build/utils.py"),
                          _args,
                          "list lines")
}
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.

all_features 与 vendor\hihope\neptune_iotlink_demo\config.json子系统组件进行对比，存在的子系统组件才会参与最后编译。
在bin_list的 force_link_libs中可以看出，Neptune100链接了轻量系统XTS测试套件最小集API。在满足轻量系统最小API的情况下，all_features 中用不到的子系统组件可以不添加。
轻量系统XTS测试套件最小集API参考：(https://gitee.com/openharmony-sig/compatibility/blob/master/test_suite/PCS/OpenHarmony-3.1-Release/mini system/OpenHarmony设备兼容性规范3.0自检表_轻量系统.xlsx)
生成的测试套的库文件
成功编译后，在编译构建输出目录，如 out/neptune100/neptune_iotlink_demo/libs，生成测试套和测试框架的库文件，XTS子系统测试套.a归档格式为:libmodule_{测试套件模块名称}.a，测试框架归档格式：libhctest.a。这些生成的文件和上文中的链接选项可以对应起来。举例：

libmodule_ActsParameterTest.a
libhctest.a
1.
2.

执行兼容性测试套件
手工执行兼容性测试套件，需要使用烧录工具以及串口工具，操作步骤如下：
1.获取编译镜像及烧录。
在如下目录获取版本镜像：out\neptune100\neptune_iotlink_demo\bin，并将版本镜像烧录进开发板，具体步骤请参考烧录打印(https://gitee.com/openharmony/device_soc_winnermicro#烧录打印)。
说明：判断当前版本镜像是否集成acts测试套件方法：在map文件中查看对应.a是否被编译即可。
2.测试步骤：
（1）使用串口工具登录模组，并保存串口打印信息。（2）重启模组，启动过程中兼容性测试自动化执行，等待执行完，查看串口日志。
3.测试结果分析指导。
（1）基于串口打印日志进行分析；
（2）测试框架启动串口log如下：

[HCtest Service] HCTest Framework inited.
******To Obtain Product Params Start******
The Product Type is [Development Board]
The manuFacture is [winnermicro]
The brand is [hihope]
The marketName is [****]
The productSeries is [****]
The softwareModel is [****]
The HardwareModel is [****]
The HardwareProfile is [****]
The serial is [85104150325039393211009A830C47011078]
The osName is [OpenHarmony-1.0.1.0(Beta)]
The OS Version is [OpenHarmony-master]
The bootloaderVersion is [bootloader]
The Security Patch is [2021-09-01]
The AbiList is [****]
The sdkApiLevel is [6]
The firstApiLevel is [1]
The incrementalVersion is [OpenHarmony 2.3 beta]
The productModel is [****]
The VersionID is [Development Board/winnermicro/hihope/****/OpenHarmony-1.0.1.0(Beta)/****/****/6/OpenHarmony 2.3 beta/debug]
The buildType is [debug]
The buildUser is [jenkins]
The buildHost is [linux]
The buildTime is [1650052583129]
The BuildRootHash is []
******To Obtain Product Params End ******
Start to rhiview init sun test suituccess.
测试套件执行完毕log如下：
-----------------------
11 Tests 0 Failures 0 Ignored 
OK
All the test suites finished!
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.

（3）每个测试套件执行以“Start to run test suite”开始，以“xx Tests xx Failures xx Ignored”结束。
（4）测试结果归档。

分类

OpenHarmony

标签

OpenHarmony

51CTO

51CTO博客

51CTO学堂

基于 Neptune100的XTS子系统之应用兼容性测试指导原创

订阅鸿蒙技术特刊，精选内容抢先看

51CTO

51CTO博客

51CTO学堂

基于 Neptune100的XTS子系统之应用兼容性测试指导 原创

订阅鸿蒙技术特刊，精选内容抢先看

基于 Neptune100的XTS子系统之应用兼容性测试指导原创