Runtime推理环境部署

Runtime推理环境可通过运行时开发工具包（Runtime SDK）进行安装与部署。运行时开发工具包提供模型推理所需的运行库、API接口及运行环境，支持在后摩M50芯片上部署并运行推理应用。

用户可在运行时开发工具包中推理模型，但不支持量化和编译模型。

使用依赖

使用依赖如下：

系统环境：
- Ubuntu 20.04 及以上版本（x86_64 或 AArch64）
- Kylin V11（AArch64）
- openEuler 22.03 LTS 和 openEuler 24.03 LTS（x86_64）
- openEuler 25.03（AArch64）
Python 3.9 及以上（仅用于使用Python接口安装工具包）
CMake 3.16.3
GCC 13

环境准备

执行下面步骤完成环境准备：

在Linux系统主机端安装最新版本驱动。详情参看《软件平台驱动安装指南》。
在后摩设备端，烧写和升级固件镜像。详情参看《HmUpdateTool工具使用指南》。
下载运行时开发工具包到当前主机：
1. 登录后摩开发者社区。
2. 在 请先选择板级类别 下拉列表中选择使用的后摩板级产品。
3. 在版本列表中选择下载的版本号，再在 AI模型类别筛选器 、平台架构筛选器 、操作系统筛选器 下拉菜单中分别选择AI模型类型、平台架构和操作系统，找到资源名为Runtime SDK的下载资源，选中该资源左边复选框。
4. 点击 直接下载、wget链接、批量直接下载 或 wget批量下载 按钮。
检查并安装使用依赖。
安装运行时开发工具包：
- 通过Python安装，需安装Python 3.9或更高版本，并执行下面指令安装运行时开发工具：
```
pip3 install houmo_tcim_runtime_<target_hw>_${distro}_$arch-<release>.tar.gz
```
- 如直接解压方式安装：
  1. 执行下面指令解压运行时开发工具：
    tar -xzf houmo_tcim_runtime_<target_hw>_${distro}_$arch-<release>.tar.gz cd houmo_tcim_runtime_<target_hw>_${distro}_$arch-<release>
  2. 如果使用Python接口推理模型，配置环境：
    source env.sh cd python chmod +x build.sh ./build.sh
设置环境变量，示例如下：
```
export HOUMO_SDK_PATH=/usr/local/houmo-sdk
export TCIM_BACKEND=Xh2HalBackend
export HOUMO_TARGET=xh2
export LD_LIBRARY_PATH=/path/to/houmo_tcim_runtime_xh2_linux_$arch-<release>/lib: \
$LD_LIBRARY_PATH
export TCIM_RUNTIME_PATH=/path/to/<release>/houmo_tcim_runtime_xh2_linux_$arch-<release>
```
其中：
- HOUMO_SDK_PATH: 后摩软件平台驱动安装路径，默认为 /usr/local/houmo-sdk。
- TCIM_BACKEND: 模型推理使用的后摩计算平台，需设置为 Xh2HalBackend。
- HOUMO_TARGET: 模型推理使用的后摩设备，需设置为 xh2。
- TCIM_RUNTIME_PATH: TCIM 运行时库安装路径。
  - 如果通过 Python 安装运行时开发工具，TCIM 运行时库安装路径为：
    
    /path/to/python/site-packages/tcim_lite
  - 如果直接解压方式安装运行时开发工具，TCIM 运行时库安装路径为：
    
    /path/to/houmo_tcim_runtime_xh2_linux_$arch-<release>
- LD_LIBRARY_PATH: 系统软件和TCIM 动态链接库所在路径。
  
  系统软件动态链接库所在路径默认为 /usr/local/houmo-sdk/hal/lib。
（可选）部署环境检测。
1. 下载应用开发示例包到当前主机。部署环境检测工具位于应用开发示例包 houmo-examples-<target_hw>_<release>.zip 中 houmo-examples-xh2/tools/hm_check 目录下。
  1. 登录后摩开发者社区。
  2. 在 请先选择板级类别 下拉列表中选择使用的后摩板级产品。
  3. 在版本列表中选择下载的版本号，再在 AI模型类别筛选器 、平台架构筛选器 、操作系统筛选器 下拉菜单中分别选择AI模型类型、平台架构和操作系统，找到资源名为示例代码的下载资源，选中该资源左边复选框。
  4. 点击 直接下载、wget链接、批量直接下载 或 wget批量下载 按钮。
2. 在 houmo-examples-xh2 目录下，执行下面指令配置运行环境：
```
source env.sh
```
3. 执行下面命令编译工具：
```
cd tools/hm_check
./build_linux.sh -b build -c Release -j 8 --install
```
  编译完成后，生成 hm-check 可执行文件，位于 build 目录下。
4. 在 houmo-examples-xh2/tools/hm_check/build 目录下，运行下面指令检测环境：
```
hm-check
```
部署环境检测工具详情，参看《部署环境检测工具用户指南》。