2.1. 简介

模型推理性能评测工具用于评测网络模型在M50后摩设备上的推理性能，帮助用户系统性地分析模型在实际运行环境中的延迟和吞吐量。工具可输出精确的性能指标，为模型优化、硬件评估及资源调度提供数据依据。

2.2. 环境准备

2.2.1. 环境依赖

该工具支持平台如下：

Linux系统：
- Ubuntu 24.04（x86_64）
- Ubuntu 22.04（x86_64）
- Ubuntu 20.04（x86_64、AArch64）
Windows系统：
- Windows11
Android系统：
- 操作系统：Android 15 (API level 35)
- CPU 架构：arm64‑v8a
- 内核版本：Linux 6.1
- 开发调试工具：adb (Android Debug Bridge)
  
  注：adb 工具默认不随系统安装。

2.2.2. 运行环境

工具可在下面环境中运行：

软件平台Docker镜像：

（仅支持Linux系统）软件平台提供的 Docker 镜像已预置工具运行所需环境。有关Docker镜像的安装与部署，参看《后摩大道^® M50 软件平台快速入门》。
运行时开发工具包：

可使用运行时开发工具包 houmo_tcim_runtime_<target_hw>_${distro}_$arch-<release>.tar.gz。详情参看《后摩大道^® M50 TCIM用户手册》。

2.2.3. Linux环境准备

工具使用前，执行下面指令配置运行环境：

下载应用开发示例包。
将应用开发示例包拷贝到可运行环境。
在 houmo-examples-xh2 目录下执行下面命令设置环境变量：
```
source env.sh
```
在 houmo-examples-xh2/tools/tcim_perf 目录下，执行下面命令编译：
```
cd tools/tcim_perf/
./build.sh
```
编译完成后，生成 tcim_perf 可执行文件，位于 tools/bin 目录下。

2.2.4. Android环境准备

工具使用前，执行下面指令配置运行环境：

Android设备端环境准备：配置最新版本Andorid驱动和固件镜像，详情参看《后摩大道^® M50 软件平台驱动安装指南》和《后摩大道^® M50 HmUpdateTool 工具使用指南》。
主机端，设置Android NDK。
1. 下载官方Android NDK 软件包。该工具仅在 android-ndk-r28c 版本上验证通过。如使用其他版本，请根据实际环境进行适配。
2. 设置 NDK_PATH 环境变量，指向 Android NDK 软件包的解压路径。
主机端，配置应用开发示例：
1. 下载应用开发示例包。
2. 执行下面指令解压应用开发示例包。
```
unzip houmo-examples-<targe_hw>_<release>.zip
```
  解压后为 houmo-examples-xh2/ 文件夹。
3. 设置环境变量：
```
cd houmo-examples-xh2
souce env.sh
```
主机端，配置Andorid 驱动：
1. 下载新版本 Andorid 驱动安装包。
  1. 登录后摩开发者社区。
  2. 在 请先选择板级类别 下拉列表中选择使用的后摩板级产品。
  3. 在版本列表中选择下载的版本号，再在 AI模型类别筛选器 、平台架构筛选器 、操作系统筛选器 下拉菜单中分别选择AI模型类型、平台架构和操作系统，找到资源名为芯片驱动的下载资源，选中该资源左边复选框。
  4. 点击 直接下载、wget链接、批量直接下载 或 wget批量下载 按钮，下载驱动安装包。
2. 执行下面指令解压驱动安装包。
```
tar -xzf houmo-drv-<targe_hw>_<release>_android_$arch.tar.gz
```
  解压后为 houmo-drv-xh2。
3. 设置 HOUMO_SDK_PATH 环境变量，指向驱动安装包的解压路径，示例如下：
```
export HOUMO_SDK_PATH=/home/houmo-drv-xh2
```
主机端，配置运行时开发工具包：
1. 下载新版本运行时开发工具包。
  1. 登录后摩开发者社区。
  2. 在 请先选择板级类别 下拉列表中选择使用的后摩板级产品。
  3. 在版本列表中选择下载的版本号，再在 AI模型类别筛选器 、平台架构筛选器 、操作系统筛选器 下拉菜单中分别选择AI模型类型、平台架构和操作系统，找到资源名为Runtime SDK的下载资源，选中该资源左边复选框。
  4. 点击 直接下载、wget链接、批量直接下载 或 wget批量下载 按钮。
2. 执行下面指令解压运行时开发工具包。
```
tar -xzf houmo-tcim-runtime-<target_hw>_${distro}_$arch-<release>.tar.gz
```
  解压后为 houmo-tcim-runtime-xh2。
3. 设置 TCIM_RUNTIME_PATH 环境变量，指向运行时开发工具包的解压路径，示例如下：
```
export TCIM_RUNTIME_PATH=/home/houmo-tcim-runtime-xh2
```
在主机端，进入 houmo-examples-xh2/tools/tcim_perf 目录下，执行下面指令编译工具：
```
./build_ndk.sh
```
编译完成后，生成 tcim_perf 可执行文件，位于 tools/android 目录下。
在主机端，将生成的 tcim_perf 传输到Android设备的 /data/houmo 目录：
```
adb push tcim_perf /data/houmo
```
在主机端，将运行时开发工具包解压后文件夹 houmo-tcim-runtime-xh2 传输到Android设备的 /data/houmo 目录：
```
adb push houmo-tcim-runtime-xh2 /data/houmo
```
在主机端，将要评测的模型文件传输到Android设备的 /data/houmo 目录，示例如下：
```
adb push resnet50.hmm /data/houmo
```
在主机端，通过 adb 进入Android设备开发板命令行，并获取 root 权限：
```
adb shell
su
```
在Android设备端，设置环境变量：
```
export TCIM_BACKEND=Xh2HalBackend
export TCIM_RUNTIME_PATH=$TCIM_RUNTIME
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/data/houmo/houmo-drv-xh2/hal/lib
```
其中 $TCIM_RUNTIME 为传输的运行时开发工具包的路径，如 /data/houmo/houmo-tcim-runtime-xh2。

执行以上步骤后，即可在 Android 环境下使用 tcim_perf 工具。

2.2.5. Windows环境准备

工具使用前，执行下面指令配置运行环境：

下载应用开发示例包。该工具位于应用开发示例包 houmo-examples_<release>.zip 中 houmo-examples-xh2\tools\tcim_perf 目录下。
将应用开发示例包拷贝到可运行环境。
在 houmo-examples-xh2 目录下执行下面命令设置环境变量：

注意

必须使用管理员权限打开命令行提示符窗口。
1. 清除历史环境变量设置：
```
env.bat --reset
```
  指令执行过程中可能需要设置 HOUMO_SDK_PATH、CMAKE_PATH、OPENCV_PATH 等环境变量。
2. 关闭命令行提示符窗口。
3. 使用管理员权限打开命令行提示符窗口，设置环境变量：
```
env.bat --set
```
  用户需要检查reset指令输出的Warning部分的路径是否正确。如果不正确需要自行删除。
4. 关闭命令行提示符窗口。
执行下面命令编译：
```
build_win.bat
```
编译完成后，生成 tcim_perf.exe 可执行文件，位于 tools\tcim_pef\build\Release 目录下。