2. 介绍

模型转换与评估工具基于 Python API 开发,用于对 ModelZoo 模型库中的网络模型执行量化、编译、推理及性能与精度评测。该工具通过配置文件实现模型的快速转换、推理、精度分析、结果可视化和性能测试,帮助用户更快速、便捷地完成模型性能评估。

更多详情,参看 MODELZOO_PATH/README.MD。

2.1. 支持的模型列表

模型转换与评估工具支持的ModelZoo样例模型如下表所示,可参看 模型转换与评估工具 列。模型样例位于 houmo-examples-<target_hw>_<release>/houmo-examples-xh2/models/network_type/network_name 目录下。其中,network_type 为网络模型类型,如 backbone;network_name 为网络名称,如 resnet50。

表 2.1 ModelZoo网络模型样例展示功能说明

网络名称

PTQ量化

模型编译

模型推理 (C++)

模型推理 (Python)

精度评测

性能评测

模型转换与评估工具

ResNet50

✓

✓

X

✓

✓

✓

✓

MobileNetV2

✓

✓

X

✓

✓

✓

✓

EfficientNet

✓

✓

X

✓

✓

✓

✓

YOLOv3

✓

✓

X

✓

✓

✓

✓

YOLOP

✓

✓

X

✓

X

✓

✓

YOLOv5s

✓

✓

X

✓

✓

✓

✓

YOLOv8m

✓

✓

X

✓

✓

✓

✓

YOLO12m

✓

✓

X

✓

✓

✓

✓

YOLOv8m-pose

✓

✓

X

✓

✓

✓

✓

LPRNet

✓

✓

X

✓

✓

✓

✓

YOLOv8m_seg

✓

✓

X

✓

✓

✓

✓

ViT-B-16

✓

✓

X

✓

✓

✓

✓

YOLOv5s_feature

✓

✓

X

✓

✓

✓

✓

Gemma-4

✓

✓

X

✓

X

✓

✓

BGE

✓

✓

X

✓

X

✓

X

GTE

✓

✓

X

✓

X

✓

X

Whisper-Medium

✓

✓

✓

✓

X

✓

X

yolov8m-cls

✓

✓

X

✓

✓

✓

✓

yolov5m_face

✓

✓

X

✓

✓

✓

✓

yolov7

✓

✓

X

✓

✓

✓

✓

yolov9m

✓

✓

X

✓

✓

✓

✓

yolo11m

✓

✓

X

✓

✓

✓

✓

yolov10m

✓

✓

X

✓

✓

✓

✓

yolox

✓

✓

X

✓

✓

✓

✓

yolo26m

✓

✓

X

✓

✓

✓

✓

sensevoice

✓

✓

X

✓

X

✓

X

glm-asr

✓

✓

✓

✓

X

✓

X

qwen3-asr

✓

✓

✓

✓

X

✓

X

whisper-turbo

✓

✓

✓

✓

X

✓

X

qwen3-embedding

✓

✓

X

✓

X

✓

X

qwen3-vl-embedding

✓

✓

X

✓

X

✓

X

laguna-s-2.1

✓

✓

X

✓

X

✓

X

qwen3.5

✓

✓

✓

✓

X

✓

X

qwen3.6

✓

✓

✓

✓

X

✓

X

qwen3.8

✓

✓

✓

✓

X

✓

X

glm-ocr

✓

✓

X

✓

X

✓

X

cosyvoice3

✓

✓

✓

✓

X

✓

X

qwen3-reranker

✓

✓

X

✓

X

✓

X

qwen3-omni

✓

✓

X

✓

X

✓

X

cam

✓

✓

X

✓

X

✓

X

ct_transformer

✓

✓

X

✓

X

✓

X

dinov3-base

✓

✓

X

✓

✓

✓

✓

mineru2.5

✓

✓

X

✓

X

✓

X

z-image

✓

✓

X

✓

X

✓

X

qwen3-tts

✓

✓

✓

✓

X

✓

X

emotion2vec

✓

✓

X

✓

X

✓

X

funaudiochat

✓

✓

X

✓

X

✓

X

minicpm-v-4.5

✓

✓

X

✓

X

✓

X

minicpm-v-4.6

✓

✓

X

✓

X

✓

X

ornith1.0

✓

✓

X

✓

X

✓

X

paddleocr_v5

✓

✓

X

✓

X

X

✓

paddleocr-vl-1.6

✓

✓

X

✓

X

✓

X

qwen-agentworld

✓

✓

X

✓

X

✓

X

sam2

✓

✓

X

✓

X

✓

✓

sam3

✓

✓

X

✓

X

X

X

siglip2

✓

✓

X

✓

✓

✓

X

3. 环境依赖

模型转换与评估工具仅用于ModelZoo模型库的网络模型,因此需要具备ModelZoo样例运行环境。

  • Linux系统:

    Docker镜像可运行于标准Linux环境,推荐使用以下已验证环境:

    • Ubuntu 24.04(x86_64)

    其他Linux环境在满足Docker运行条件的情况下通常也可运行,但未在本产品中进行完整验证。

根据功能不同,镜像分为以下两类:

  • x86_64全功能镜像:

    支持模型量化、模型编译与模型推理。

    Dadao-docker-xh2-vx.y.z-ubuntu24.04-x86.64.tar

  • x86_64推理部署镜像(deploy镜像):

    仅支持模型推理运行,不包含模型量化与模型编译。

    镜像名称中包含 deploy 标识。

    Dadao-deploy-docker-xh2-vx.y.z-ubuntu24.04-x86.64.tar

  • AArch64推理部署镜像:

    仅支持ARM64架构下模型推理运行,不包含模型量化与模型编译。

    Dadao-deploy-docker-xh2-vx.y.z-ubuntu24.04-aarch64.tar

3.1. 环境配置

执行下面操作设置ModelZoo样例运行环境,所有样例默认适配最新版本软件平台:

  1. 安装和部署Docker开发环境。有关 Docker 镜像的安装与部署,参看 《快速入门指南》。

  1. 在Docker镜像中下载应用开发示例包。

    1. 登录后摩开发者社区。

    2. 在 请先选择板级类别 下拉列表中选择使用的后摩板级产品。

    3. 在版本列表中选择下载的版本号,再在 AI模型类别筛选器 、平台架构筛选器 、操作系统筛选器 下拉菜单中分别选择AI模型类型、平台架构和操作系统,找到资源名为示例代码的下载资源,选中该资源左边复选框。

    4. 点击 直接下载、wget链接、批量直接下载 或 wget批量下载 按钮。

  2. 执行下面指令解压应用开发示例包:

    unzip houmo-examples-xh2_<release>.zip
    

    ModelZoo模型库位于 houmo-examples-xh2/models 目录下。

  3. 检查 houmo-examples-xh2/env.sh 中环境变量设置,根据实际情况修改环境变量的值。

    环境变量详情参看 ModelZoo环境变量列表。

  4. 下载模型数据集,并设置 HOUMO_DATASETS_PATH 环境变量为数据集存放目录。

  5. 在 houmo-examples-xh2 目录下,执行下面指令配置运行环境:

    source env.sh
    
  6. 如果在AArch64 架构:不支持模型量化和编译操作,用户可以直接使用提供的已编译模型进行推理。