在CentOS中安装鸿蒙LiteOS编译环境-海思Hi3861 精华

chaijunkun
发布于 2020-10-16 16:11
浏览
14收藏

1. 背景

前段时间收到了来自华为和51CTO提供的HiSpark Wi-Fi IoT智能家居套件,在此表示感谢。收到之后就迫不及待开始研究了。该套件基于海思Hi3861芯片,在官方文档中,整个LiteOS的编译环境是基于Ubuntu发行版的。如果你像我一样从事互联网行业,那么可能工作中接触更多的是CentOS。在CentOS中安装LiteOS的编译环境到底是否可行呢?那和Ubuntu环境的配置又有什么区别呢?让我们来一起探索一下。

 

首先本文中的CentOS是以CentOS 7.8.2003为基础。我事先在VMware中安装了全新的CentOS-7-x86_64-Minimal-2003(下载地址:http://mirrors.huaweicloud.com/centos/7.8.2003/isos/x86_64/),尽可能在一个较为干净的系统中,一步步探索编译的最小环境。

 

2. 需求分析

海思Hi3861芯片的架构为RISC-V(32位版本),因此交叉编译工具链必不可少:gcc_riscv32;

 

鸿蒙LiteOS的部分源代码是基于gn、ninja构建工具组织的。我们熟悉的Chrome开源版Chromium,使用同样的构建工具管理。gn用来实现一种跨平台的、程序员方便理解的编译管理,执行gn后,会生成给ninja使用的编译预处理配置。经过ninja预处理后,将会明显加快编译速度。这种特性对于操作系统等超大型项目来讲非常有用;

 

在鸿蒙LiteOS源代码中,关于Hi3861芯片的一些适配代码,它的编译使用了SCons工具,此工具基于Python;

 

另外还有一部分源代码(例如第三方库:curl)使用了传统的makefile方式编译,为了实现一条命令即可完成编译,也同样需要Python脚本来进行集成。

 

3. 安装编译环境

3.1 准备好工具

在编译过程中,输入命令有时候需要复制粘贴,你需要一个好用的SSH客户端,这里我用的是ZOC,类似的像SecureCRT之类的客户端也可以;

另外,如果你的网络状况不是很好的话,使用wget方式下载编译器会比较慢,我们可以使用迅雷等工具先把编译器下载好,然后通过rz命令传入CentOS。

yum install -y lrzsz

在官方文档中指出一些必要的工具需要通过下载二进制的形式安装,需要用到wget这样的命令。在最小化安装的CentOS中,wget等命令是默认未安装的,此时我们要将此工具准备好:

yum install -y wget

3.2 下载交叉编译工具

常规的操作是在CentOS中执行:

wget https://repo.huaweicloud.com/harmonyos/compiler/gcc_riscv32/7.3.0/linux/gcc_riscv32-linux-7.3.0.tar.gz

如果你事先通过迅雷在本地下载好了交叉编译器,可以在CentOS中输入:

rz

命令来激活SSH客户端的上传窗口,选择本地文件后,点击“打开”即可上传至SSH中的当前目录。
使用tar命令对工具链解压

tar -xvf gcc_riscv32-linux-7.3.0.tar.gz

这里有个稍微需要注意的地方,虽然压缩包文件名为tar.gz,一般这种文件在tar基础上还使用了gz方式压缩,因此通常解压时需要加-z选项,可真的加上这个选项会提示:

gzip: stdin: not in gzip format
tar: Child returned status 1
tar: Error is not recoverable: exiting now

3.3 安装交叉编译工具

解压好交叉编译工具后,一般按照习惯,我会把这类应用放到/usr/local目录下。

mv gcc_riscv32 /usr/local/

当然,你也可以在上一步解压的过程中直接使用

tar -xvf gcc_riscv32-linux-7.3.0.tar.gz -C /usr/local

为了能在Shell中直接使用交叉编译命令,需要将工具所在路径加入到PATH环境变量中。

打开全局环境变量配置文件:

vi /etc/profile

快捷命令Shift+g将光标定位到文件尾部

修改PATH环境变量定义:

export PATH=/usr/local/gcc_riscv32/bin:$PATH

快捷命令:wq!将修改保存。

执行命令:

source /etc/profile

使环境变量配置立即生效。为了验证安装正确性,可以使用:

cd
riscv32-unknown-elf-gcc --version

应当输出

riscv32-unknown-elf-gcc (GCC) 7.3.0
Copyright (C) 2017 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

3.4 编译安装Python 3

官方文档中指出,Python需要3.7以上版本,看了一下CentOS官方源的Python版本,是2.7。而且一些运维的工具也是基于2.7的,不能强行删除。因此我们变通一下,自己编译个Python 3。看了一下官网,目前的最新稳定版本为:3.9.0。

 

和交叉编译工具一样,你也可以提前下载好源码包,或者使用命令下载

wget https://www.python.org/ftp/python/3.9.0/Python-3.9.0.tgz

然后将源码包解压

tar -xzvf Python-3.9.0.tgz

在编译开始前,需要安装一些编译过程中依赖的其他组件,以下是我逐个尝试过的,为最精简的依赖包:

注意:如果你追求一个更为精简的环境,可以在另外一个环境中编译好Python 3,然后将二进制包拷贝过来。这样就不用安装下面的组件了

yum groupinstall -y "Development tools"
yum install -y openssl-devel
yum install -y libffi libffi-devel
yum install -y bzip2-devel
yum install -y sqlite-devel
yum install -y readline-devel
yum install -y libuuid-devel
yum install -y uuid-devel
yum install -y xz-devel
yum install -y gdbm-devel
yum install -y tk-devel

按照习惯,希望将Python 3安装到/usr/local/python3目录下。需要配置编译,指定prefix

cd Python-3.9.0
./configure --prefix=/usr/local/python3

接下来进行编译Python 3

make -j8 && make install

这里的参数 -j 是并行job数。请结合自身CentOS运行实际硬件环境(CPU核数)配置,过大、过小都不太好,适当优化可改善编译速度。


为了能在Shell中直接使用Python3命令,又不与系统中的Python 2.7产生冲突,我们需要创建两个软链接

ln -s /usr/local/python3/bin/python3 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

/usr/bin目录是默认在PATH环境变量中的,上述两个软链接创建好后即可直接在Shell中使用了:

[root@localhost ~]# python3 --version
Python 3.9.0
[root@localhost ~]# pip3 --version
pip 20.2.3 from /usr/local/python3/lib/python3.9/site-packages/pip (python 3.9)

3.5 安装一些基于Python 3的必要组件

安装完Python 3之后,根据官方指导,还需要安装一些基于Python 3的编译时用到的组件,整理如下:

pip3 install setuptools
pip3 install kconfiglib
pip3 install pycryptodome
pip3 install six --upgrade --ignore-installed six
pip3 install ecdsa

如果你在安装时遇到了这样的提示:

WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: certificate is not yet valid (_ssl.c:1122)'))': /simple/kconfiglib/
WARNING: Retrying (Retry(total=3, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: certificate is not yet valid (_ssl.c:1122)'))': /simple/kconfiglib/
WARNING: Retrying (Retry(total=2, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: certificate is not yet valid (_ssl.c:1122)'))': /simple/kconfiglib/

请检查一下是否本地时间与真实时间相差比较大(写这篇文章时的时间为2020年10月14日)

[root@localhost ~]# date
2020年 09月 23日 星期三 15:46:28 CST

可以使用

ntpdate -u time.windows.com

来校准本地时间

 

3.6 安装SCons

上文中提到,鸿蒙LiteOS的源码编译过程还需要Scons工具,接下来要安装一下。

首先下载其源代码

wget http://prdownloads.sourceforge.net/scons/scons-4.0.1.tar.gz

解压

tar -xzvf scons-4.0.1.tar.gz

安装

cd SCons-4.0.1/
python3 setup.py install

生成SCons命令的软链接,使其在Shell中能够直接使用

ln -s /usr/local/python3/bin/scons /usr/bin/scons


3.7 安装gn工具(用来产生ninja编译脚本)
gn工具是由google公司开发的一套预编译工具,源代码地址:https://gn.googlesource.com/gn/

由于一些众所周知的原因,国内下载源码不太方便,幸好华为为我们提供了编译好的二进制文件。(如果你感兴趣,想自己编译的话,需要事先准备Python、ninja和LLVM环境)

下载:

wget https://repo.huaweicloud.com/harmonyos/compiler/gn/1523/linux/gn.1523.tar

解压:

tar -xvf gn.1523.tar

安装:

mv gn /usr/local/
ln -s /usr/local/gn/gn /usr/bin/gn

验证:

[root@localhost ~]# gn --version
1523 (5bd8e26b)


3.8 安装ninja工具

同样,华为为我们也提供了相应的二进制版本。

下载:

wget https://repo.huaweicloud.com/harmonyos/compiler/ninja/1.9.0/linux/ninja.1.9.0.tar

解压:

tar -xvf ninja.1.9.0.tar

安装:

mv ninja /usr/local/ 
ln -s /usr/local/ninja/ninja /usr/bin/ninja

验证:

[root@localhost ~]# ninja --version
1.9.0

 

3.9 测试编译

经过上述步骤,编译环境已基本安装完成,我们来尝试编译一下。

下载全量源代码:

wget https://repo.huaweicloud.com/harmonyos/os/1.0/code-1.0.tar.gz

解压:

mkdir liteos
tar -xzvf code-1.0.tar.gz -C liteos

注意,源代码压缩文件内部未包含单独的目录,会解压出来一大堆文件,应当先建立一个目录,再向该目录解压!

解压好之后,按照官方提供的命令进行编译。由于我们安装的Python 3为了避免与Python 2.7命令冲突,可执行命令变为python3,故编译稍有差别:

python3 build.py wifiiot

我们看到,最终编译成功,且输出了可以烧写的固件:out/wifiiot/Hi3861_wifiiot_app_allinone.bin 

 

3.10 小结

上述过程,虽然稍显繁琐,但大致的思路就是如果有二进制版本,直接下载、解压、安装、验证,这样的步骤。没有提供二进制版本的,可以尝试通过CentOS官方源来解决。如果官方源仍然无法满足要求(例如Python 3),也可以尝试自行通过源码编译的方式来解决。

 

4. 启用局域网共享

之所以要打开局域网共享,还是因为目前的开发环境还不完善。RISC-V架构的编译器只提供了Linux版,这就决定了编译必须在Linux环境中。而Hi3861的芯片烧录程序,只提供了Windows版(有时间我们可以聊聊鸿蒙LiteOS开发环境Deveco的烧录原理)。而且大多数从事单片机开发的工程师(或者说单片机厂商提供的开发环境,例如烧录驱动、烧录工具)还都是以Windows平台为主。我们希望编译完后直接能拿到二进制文件进行烧录,所以想到了这样一种变通方式。

4.1 安装samba

samba协议即Windows中的网上邻居所使用的协议。在CentOS的最小安装环境下需要单独安装。

yum install -y samba

允许开机启动,这样在编译服务器掉电恢复后能自动启动局域网共享:

systemctl enable smb

4.2 配置samba服务前的一些准备工作

我们先创建一个用于文件共享的账号,因为后续很多的操作都是基于这个账号的。假设这个账号名为:harmony

useradd -r -s /bin/false harmony

使用useradd创建一个“三无账户”,即:没有home目录,没有密码,没有系统Shell。毕竟我们只是希望有个专用身份而已。随后,要在samba系统中添加刚刚创建的账户,并且设置samba专用密码。此处示例设置密码为:harmony。即用户名密码均为:harmony。当然也可以根据自己喜好设置。

smbpasswd -a harmony

账号初始化之后,就可以创建一个专门用于存放共享代码的目录了:

mkdir /data

BTW:其实更加稳妥的操作是在安装系统时单独分一个/data挂载点分区,这样一旦系统发生故障,哪怕重装系统,我们的代码也不会丢失。

 

因为创建该目录的用户是root,所以samba用户还不能对这个目录进行写入操作,要修改目录所有者:

chown -R harmony:harmony /data

4.3 配置samba服务

接下来就是最关键的配置samba服务环节了。本来希望配置一个不需要用户名密码即可上传、下载的共享目录。但后来查阅资料,发现Windows 10默认情况下已经不允许这种方式了。更改Windows安全策略来实现倒也不是不可以,只是以牺牲我们操作系统的安全性为代价不划算,所以我们选择了在CentOS中创建一个Samba专用账户,用它来登录。

 

首先将默认配置备份一下,以后如果配置错误,还可以回滚到初始状态

cd /etc/samba
cp smb.conf smb.conf.bak

然后使用vi命令编辑smb.conf文件

vi smb.conf

下面的这段是我之前整理好的一套配置:

[global]
        netbios name = Compiler
        server string = RISC-V Compiler
        workgroup = WORKGROUP
        security = user
        map to guest = Bad User
        passdb backend = tdbsam
        log file = /var/log/samba/log.%m

[code]
        comment = Public Stuff
        path = /data
        valid users = harmony
        browseable = yes
        writable = yes
        available = yes
        read only = no
        create mode = 0644
        directory mode = 0755

这里简单解释一下,[code]表示挂载点,如果你使用Windows,在地址栏输入\\[IP]之后,出现的第一级目录,即挂载点。valid users表示允许我们的harmony用户访问。因为要拥有写入权限,因此writable设置为yes,read only设置为no。新建文件的默认权限为644,即:rw-r--r--;新建目录的默认权限为755,即:drwxr-xr-x,必须拥有执行权限,否则新建完的目录删不掉。
 

4.4 开启SELinux的安全选项

在CentOS中,默认开启了SELinux,此功能是建立在系统内核的一套安全机制,对于samba服务,默认是不允许用户向服务器写入内容的。既然我们有这个需求,那就将此功能启用:

setsebool -P samba_export_all_rw 1

另附:查看SELinux中关于samba服务配置的选项状态:

sestatus -b | grep samba

 

4.5 别忘了防火墙

在CentOS中,防火墙默认开启,samba服务相关的端口不在防火墙策略中,此时即便开启服务,外部也无法访问,因此需要将端口加入到防火墙允许策略中:

firewall-cmd --zone=public --add-port=139/tcp --permanent
firewall-cmd --zone=public --add-port=389/tcp --permanent
firewall-cmd --zone=public --add-port=445/tcp --permanent
firewall-cmd --zone=public --add-port=901/tcp --permanent
firewall-cmd --reload
firewall-cmd --list-all

当然,最简单的还是禁用防火墙,但是会带来安全隐患,请酌情使用

systemctl stop firewalld
systemctl disable firewalld

4.6 启动共享服务

一切配置好后,就可以启动共享服务了

systemctl start smb

也可以查看服务的运行状态

systemctl status smb

在Windows中,地址栏输入\\[IP]地址,即可看到之前共享的目录内容。

4.7 额外补充

如果后续使用中,samba用户密码修改,或者用户名更改。那么在Windows下,以前能够正常访问也有可能变得不能访问了。这时我们在控制面板中搜索“凭据”,在“凭据管理器”->“Windows凭据”中删除之前老的登录账号即可。如果登录时没有勾选过记住凭据,可以在Windows的命令行中使用:

net use * /del

来清除连接缓存。

 

 

参考资料:

[1]Huawei. 搭建环境 [EB/OL]. https://device.harmonyos.com/cn/docs/start/introduce/oem_quickstart_3861_build-0000001054781998, 2020-10-14/2020-10-14

[2]mikey-no. pip always fails ssl verification [EB/OL].https://stackoverflow.com/questions/49324802/pip-always-fails-ssl-verification, 2019-01-28/2020-10-14

[3]一亩三分地. CentOS 7设置Samba共享目录 [EB/OL]. https://www.cnblogs.com/ldm1989/p/9229921.html, 2018-06-26/2020-10-14

 

已于2020-10-18 23:43:54修改
5
收藏 14
回复
举报
7条回复
按时间正序
/
按时间倒序
啧啧啧GKD
啧啧啧GKD

赞赞赞   真是不错!

回复
2020-10-16 16:36:50
Wxueyan
Wxueyan

超长深度帖……赞。

2
回复
2020-10-16 16:37:31
SummerRic
SummerRic

已关注老师,跃跃欲试,等开发版收到了,好想试一试。

已于2020-10-16 17:08:41修改
回复
2020-10-16 16:46:03
鲜橙加冰
鲜橙加冰

红帽玩家见此贴,虎躯一震,好。

终于不是清一色ubuntu了。

1
回复
2020-10-16 16:49:10
孙振华(智能传感)
孙振华(智能传感)

首先感谢您的分享,我按照您提供的方法在CENTOS8.2和python3.9环境下编译Hi3861wifiiot全代码时在第196步碰到UnicodeDecodeError: 'utf-8' codec can't decode byte 0xca 问题,不知如何解决?还请老师指点。

[195/197] STAMP obj/build/lite/gen_rootfs.stamp
[196/197] ACTION //vendor/hisi/hi3861/hi3861:run_wifiiot_scons(//build/lite/toolchain:linux_x86_64_riscv32_gcc)
FAILED: obj/vendor/hisi/hi3861/hi3861/run_wifiiot_scons_build_ext_components.txt 
python ../../build/lite/build_ext_components.py --path=../../vendor/hisi/hi3861/hi3861 --command=sh\ hm_build.sh
execute ota_builder with python...
Traceback (most recent call last):
  File "/usr/local/python3/lib/python3.9/site-packages/SCons-4.0.1-py3.9.egg/SCons/Script/Main.py", line 1391, in main
    _exec_main(parser, values)
  ......
  File "/usr/local/python3/lib/python3.9/codecs.py", line 322, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xca in position 699: invalid continuation byte

回复
2020-12-31 17:21:47
chaijunkun
chaijunkun 回复了 孙振华(智能传感)
首先感谢您的分享,我按照您提供的方法在CENTOS8.2和python3.9环境下编译Hi3861wifiiot全代码时在第196步碰到UnicodeDecodeError: 'utf-8' codec can't decode byte 0xca 问题,不知如何解决?还请老师指点。 [195/197] STAMP obj/build/lite/gen_rootfs.stamp[196/197] ACTION //vendor/hisi/hi3861/hi3861:run_wifiiot_scons(//build/lite/toolchain:linux_x86_64_riscv32_gcc)FAILED: obj/vendor/hisi/hi3861/h...

感觉是python3的问题。您尝试直接运行python3 --version,看下是否是您说的3.9的版本,如果不是的话,将您安装的版本软链接到系统中

cd /usr/bin && sudo rm python && sudo ln -s python3.9-path python sudo ln -s python3.9-path python3

此时再去查看版本,应该就可以了

python --version

回复
2021-1-13 15:09:11
qq5fc9e0ab793b7
qq5fc9e0ab793b7

你好 我在centerOS 8 上编译harmony 2.0 wifiiot时 碰到

[root@iZbp1j8qn2nttks1n63zkzZ code-2.0-canary]# python3 build.py ipcamera_hi3516dv300Traceback (most recent call last): File "build/lite/hb/__main__.py", line 96, in <module> sys.exit(main()) File "build/lite/hb/__main__.py", line 71, in main module = importlib.import_module('.{}'.format(each.get('name')), File "/usr/local/python3/lib/python3.8/importlib/__init__.py", line 127, in import_module return _bootstrap._gcd_import(name[level:], package, level) File "<frozen importlib._bootstrap>", line 1014, in _gcd_import File "<frozen importlib._bootstrap>", line 991, in _find_and_load File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 671, in _load_unlocked File "<frozen importlib._bootstrap_external>", line 783, in exec_module File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed File "/usr/local/harmonyos/code-2.0-canary/build/lite/hb/build/build.py", line 21, in <module> from hb.build.build_process import Build File "/usr/local/harmonyos/code-2.0-canary/build/lite/hb/build/build_process.py", line 30, in <module> from hb.cts.cts import CTS File "/usr/local/harmonyos/code-2.0-canary/build/lite/hb/cts/cts.py", line 32, in <module> from hb.cts.common import check_path File "/usr/local/harmonyos/code-2.0-canary/build/lite/hb/cts/common.py", line 25, in <module> from prompt_toolkit.styles import style_from_dict ImportError: cannot import name 'style_from_dict' from 'prompt_toolkit.styles' (/usr/local/python3/lib/python3.8/site-packages/prompt_toolkit/styles/__init__.py)

我安装了prompt_toolkit这个软件包,但是无论哪个版本都出现这个ImportError: cannot import name 'style_from_dict' from 'prompt_toolkit.styles'

能帮忙看看这个时什么原因吗?

回复
2021-6-24 11:50:44
回复
    相关推荐