2. 介绍

模型转换与评估工具基于 Python API 开发,用于对 ModelZoo 模型库中的网络模型执行量化、编译、推理及性能与精度评测。该工具通过配置文件实现模型的快速转换、推理、精度分析、结果可视化和性能测试,帮助用户更快速、便捷地完成模型性能评估。

更多详情,参看 MODELZOO_PATH/README.MD

2.1. 支持的模型列表

模型转换与评估工具支持的ModelZoo样例模型如下表所示,可参看 模型转换与评估工具 列。模型样例位于 houmo-examples_<release>/houmo-examples-xh2/models/network_type/network_name 目录下。其中,network_type 为网络模型类型,如 backbonenetwork_name 为网络名称,如 resnet50

表 2.1 ModelZoo网络模型样例展示功能说明

网络名称

PTQ量化

模型编译

模型推理 (C++)

模型推理 (Python)

精度评测

性能评测

模型转换与评估工具

ResNet50

X

MobileNetV2

X

EfficientNet

X

YOLOv3

X

YOLOP

X

X

YOLOv5s

X

YOLOv8m

X

YOLO12m

X

YOLOv8m-pose

X

DeepSeek

X

X

X

Qwen3

X

X

X

LPRNet

X

YOLOv8m_seg

X

ViT-B-16

X

YOLOv5s_feature

X

Gemma-4-26B-A4B

X

X

X

Qwen2.5-vl

X

X

X

PP-OCRv3

X

BGE

X

X

X

X

GTE

X

X

X

X

Whisper-Medium

X

X

X

yolov8m-cls

X

yolov5m_face

X

yolov7

X

yolov9m

X

yolo11m

X

yolov10m

X

yolox

X

yolo26m

X

minicpmo

X

X

X

X

qwen3-vl

X

X

qwen3-30b-a3b

X

X

X

gpt-oss

X

X

X

X

sensevoice

X

X

X

X

glm-asr

X

X

X

qwen3-asr

X

X

X

whisper-turbo

X

X

X

X

qwen3-embedding

X

X

X

X

qwen2.5

X

X

X

qwen3.5

X

X

X

qwen3.6

X

X

X

CoPaw-Flash

X

X

X

glm-ocr

X

X

X

X

cosyvoice3

X

X

qwen3-reranker

X

X

X

X

3. 环境依赖

模型转换与评估工具仅用于ModelZoo模型库的网络模型,因此需要具备ModelZoo样例运行环境。

示例模型支持在 Ubuntu 24.04、22.04 和 20.04 系统环境下运行:

  • x86_64 架构: 支持模型示例的量化、编译和推理。

  • AArch64 架构: 仅支持模型示例的推理,不支持量化和编译操作。

3.1. 环境配置

执行下面操作设置ModelZoo样例运行环境,所有样例默认适配最新版本软件平台:

  1. 安装和部署Docker开发环境。有关 Docker 镜像的安装与部署,参看《后摩大道® 快速入门》。

  1. 在Docker镜像中下载应用开发示例包。

    1. 登录后摩开发者社区

    2. 请先选择板级类别 下拉列表中选择使用的后摩板级产品。

    3. 在版本列表中选择下载的版本号,再在 AI模型类别筛选器平台架构筛选器操作系统筛选器 下拉菜单中分别选择AI模型类型、平台架构和操作系统,找到资源名为示例代码的下载资源,选中该资源左边复选框。

    4. 点击 直接下载wget链接批量直接下载wget批量下载 按钮。

    ModelZoo模型库位于 houmo-examples-xh2/models 目录下。

  2. 检查 houmo-examples-xh2/env.sh 中环境变量设置:

    • 根据实际情况修改环境变量的值,例如如果更换数据集路径,则修改 HOUMO_DATASETS_PATH 变量。

    • 初始时脚本会自动检测当前是否有可用的后摩设备。如果有,则会自动设置使用该后摩设备评测模型,否则会设置使用模拟器评测模型。用户可通过 HDPL_PLATFORM环境变量修改评测平台。

    环境变量详情参看 ModelZoo环境变量列表

  3. houmo-examples-xh2 目录下,执行下面指令配置运行环境:

    source env.sh
    
  4. 如果在AArch64 架构:不支持模型量化和编译操作,用户可以直接使用提供的已编译模型进行推理。