4.5.1. Linux 环境配置
Linux版本的运行时开发工具包,提供Linux主机上模型推理的运行时开发环境,但不支持编译模型。
工具包目录结构如下:
|--bin # TCIM runtime动态库文件
|--include # 模型部署C++接口文件
|--python # 模型部署Python接口文件
|--lib # 用于链接动态链接库(DLL)的导入库
`--env.sh # 环境设置
4.5.1.1. 使用依赖
使用依赖如下:
系统环境:
Ubuntu 20.04(x86_64或AArch64)
Ubuntu 22.04(x86_64)
Ubuntu 24.04(x86_64)
Kylin V11(AArch64)
openEuler 22.03 LTS 和 openEuler 24.03 LTS(x86_64)
openEuler 25.03 LTS(AArch64)
Python 3.9(仅用于使用Python接口安装工具包)
CMake 3.16.3
GCC 13
4.5.1.2. 环境准备
执行下面步骤完成环境准备:
在后摩设备端,烧写和升级Flash镜像。详情参看《后摩大道
M50 HmUpdateTool 工具使用指南》。在Linux系统主机端安装最新版本驱动。详情参看《后摩大道
M50 软件平台驱动安装指南》。下载运行时开发工具包:
登录后摩开发者社区。
在 请先选择板级类别 下拉列表中选择使用的后摩板级产品。
在版本列表中选择下载的版本号,再在 AI模型类别筛选器 、平台架构筛选器 、操作系统筛选器 下拉菜单中分别选择AI模型类型、平台架构和操作系统,找到资源名为Runtime SDK的下载资源,选中该资源左边复选框。
点击 直接下载、wget链接、批量直接下载 或 wget批量下载 按钮。
检查并安装 使用依赖。
安装运行时开发工具包:
通过Python安装,需安装Python 3.9或更高版本,并执行下面指令安装运行时开发工具:
pip3 install houmo_tcim_runtime_<target_hw>_${distro}_$arch-<release>.tar.gz如直接解压方式安装,执行下面指令解压运行时开发工具:
tar -xzf houmo_tcim_runtime_<target_hw>_${distro}_$arch-<release>.tar.gz cd houmo_tcim_runtime_<target_hw>_${distro}_$arch-<release>
设置环境变量,示例如下:
export HOUMO_SDK_PATH=/usr/local/houmo-sdk export TCIM_BACKEND=Xh2HalBackend export HOUMO_TARGET=xh2 export LD_LIBRARY_PATH=/path/to/houmo_tcim_runtime_xh2_linux_$arch-<release>/lib:$LD_LIBRARY_PATH export TCIM_RUNTIME_PATH=/path/to/<release>/houmo_tcim_runtime_xh2_linux_$arch-<release> export HDPL_PLATFORM=ASIC
其中:
HOUMO_SDK_PATH: 后摩软件平台驱动安装路径,默认为
/usr/local/houmo-sdk。TCIM_BACKEND: 模型推理使用的后摩计算平台,需设置为
Xh2HalBackend。HOUMO_TARGET: 模型编译和推理使用的后摩设备,需设置为
xh2。TCIM_RUNTIME_PATH: TCIM 运行时库安装路径。
如果通过 Python 安装运行时开发工具,TCIM 运行时库安装路径为:
/path/to/python/site-packages/tcim_lite如果直接解压方式安装运行时开发工具,TCIM 运行时库安装路径为:
/path/to/houmo_tcim_runtime_xh2_linux_$arch-<release>
LD_LIBRARY_PATH: 系统软件和TCIM 动态链接库所在路径。
系统软件动态链接库所在路径默认为
/usr/local/houmo-sdk/hal/lib。HDPL_PLATFORM: 指定运行时平台。选择在后摩硬件设备或后摩提供的 ISIM 模拟器上运行。
ASIC:运行在后摩硬件设备上。ISIM:运行在模拟器上。
(可选)部署环境检测。
下载应用开发示例包到当前主机。部署环境检测工具位于应用开发示例包
houmo-examples_<release>.zip中houmo-examples-xh2/tools/hm_check目录下。登录后摩开发者社区。
在 请先选择板级类别 下拉列表中选择使用的后摩板级产品。
在版本列表中选择下载的版本号,再在 AI模型类别筛选器 、平台架构筛选器 、操作系统筛选器 下拉菜单中分别选择AI模型类型、平台架构和操作系统,找到资源名为示例代码的下载资源,选中该资源左边复选框。
点击 直接下载、wget链接、批量直接下载 或 wget批量下载 按钮。
在
houmo-examples-xh2目录下,执行下面指令配置运行环境:source env.sh
执行下面命令编译工具:
cd tools/hm_check ./build_linux.sh -b build -c Release -j 8 --install
编译完成后,生成
hm-check可执行文件,位于build目录下。在
houmo-examples-xh2/tools/hm_check/build目录下,运行下面指令检测环境:hm-check
部署环境检测工具详情,参看 《部署环境检测工具用户指南》。