4.5.1. Linux 环境配置

Linux版本的运行时开发工具包,提供Linux主机上模型推理的运行时开发环境,但不支持编译模型。

工具包目录结构如下:

|--bin                    # TCIM runtime动态库文件
|--include                # 模型部署C++接口文件
|--python                 # 模型部署Python接口文件
|--lib                    # 用于链接动态链接库(DLL)的导入库
`--env.sh                 # 环境设置

4.5.1.1. 使用依赖

使用依赖如下:

  • 系统环境:

    • Ubuntu 20.04(x86_64或AArch64)

    • Ubuntu 22.04(x86_64)

    • Ubuntu 24.04(x86_64)

    • Kylin V11(AArch64)

    • openEuler 22.03 LTS 和 openEuler 24.03 LTS(x86_64)

    • openEuler 25.03 LTS(AArch64)

  • Python 3.9(仅用于使用Python接口安装工具包)

  • CMake 3.16.3

  • GCC 13

4.5.1.2. 环境准备

执行下面步骤完成环境准备:

  1. 在后摩设备端,烧写和升级Flash镜像。详情参看《后摩大道^\circledR M50 HmUpdateTool 工具使用指南》。

  2. 在Linux系统主机端安装最新版本驱动。详情参看《后摩大道^\circledR M50 软件平台驱动安装指南》。

  3. 下载运行时开发工具包:

    1. 登录后摩开发者社区

    2. 请先选择板级类别 下拉列表中选择使用的后摩板级产品。

    3. 在版本列表中选择下载的版本号,再在 AI模型类别筛选器平台架构筛选器操作系统筛选器 下拉菜单中分别选择AI模型类型、平台架构和操作系统,找到资源名为Runtime SDK的下载资源,选中该资源左边复选框。

    4. 点击 直接下载wget链接批量直接下载wget批量下载 按钮。

  4. 检查并安装 使用依赖

  5. 安装运行时开发工具包:

    • 通过Python安装,需安装Python 3.9或更高版本,并执行下面指令安装运行时开发工具:

      pip3 install houmo_tcim_runtime_<target_hw>_${distro}_$arch-<release>.tar.gz
      
    • 如直接解压方式安装,执行下面指令解压运行时开发工具:

      tar -xzf houmo_tcim_runtime_<target_hw>_${distro}_$arch-<release>.tar.gz
      cd houmo_tcim_runtime_<target_hw>_${distro}_$arch-<release>
      
  6. 设置环境变量,示例如下:

    export HOUMO_SDK_PATH=/usr/local/houmo-sdk
    export TCIM_BACKEND=Xh2HalBackend
    export HOUMO_TARGET=xh2
    export LD_LIBRARY_PATH=/path/to/houmo_tcim_runtime_xh2_linux_$arch-<release>/lib:$LD_LIBRARY_PATH
    export TCIM_RUNTIME_PATH=/path/to/<release>/houmo_tcim_runtime_xh2_linux_$arch-<release>
    export HDPL_PLATFORM=ASIC
    

    其中:

    • HOUMO_SDK_PATH: 后摩软件平台驱动安装路径,默认为 /usr/local/houmo-sdk

    • TCIM_BACKEND: 模型推理使用的后摩计算平台,需设置为 Xh2HalBackend

    • HOUMO_TARGET: 模型编译和推理使用的后摩设备,需设置为 xh2

    • TCIM_RUNTIME_PATH: TCIM 运行时库安装路径。

      • 如果通过 Python 安装运行时开发工具,TCIM 运行时库安装路径为:

        /path/to/python/site-packages/tcim_lite

      • 如果直接解压方式安装运行时开发工具,TCIM 运行时库安装路径为:

        /path/to/houmo_tcim_runtime_xh2_linux_$arch-<release>

    • LD_LIBRARY_PATH: 系统软件和TCIM 动态链接库所在路径。

      系统软件动态链接库所在路径默认为 /usr/local/houmo-sdk/hal/lib

    • HDPL_PLATFORM: 指定运行时平台。选择在后摩硬件设备或后摩提供的 ISIM 模拟器上运行。

      • ASIC:运行在后摩硬件设备上。

      • ISIM:运行在模拟器上。

  7. (可选)部署环境检测。

    1. 下载应用开发示例包到当前主机。部署环境检测工具位于应用开发示例包 houmo-examples_<release>.ziphoumo-examples-xh2/tools/hm_check 目录下。

      1. 登录后摩开发者社区

      2. 请先选择板级类别 下拉列表中选择使用的后摩板级产品。

      3. 在版本列表中选择下载的版本号,再在 AI模型类别筛选器平台架构筛选器操作系统筛选器 下拉菜单中分别选择AI模型类型、平台架构和操作系统,找到资源名为示例代码的下载资源,选中该资源左边复选框。

      4. 点击 直接下载wget链接批量直接下载wget批量下载 按钮。

    2. houmo-examples-xh2 目录下,执行下面指令配置运行环境:

      source env.sh
      
    3. 执行下面命令编译工具:

      cd tools/hm_check
      ./build_linux.sh -b build -c Release -j 8 --install
      

      编译完成后,生成 hm-check 可执行文件,位于 build 目录下。

    4. houmo-examples-xh2/tools/hm_check/build 目录下,运行下面指令检测环境:

      hm-check
      

    部署环境检测工具详情,参看 《部署环境检测工具用户指南》