2. 介绍
模型转换与评估工具基于 Python API 开发,用于对 ModelZoo 模型库中的网络模型执行量化、编译、推理及性能与精度评测。该工具通过配置文件实现模型的快速转换、推理、精度分析、结果可视化和性能测试,帮助用户更快速、便捷地完成模型性能评估。
更多详情,参看 MODELZOO_PATH/README.MD。
2.1. 支持的模型列表
模型转换与评估工具支持的ModelZoo样例模型如下表所示,可参看 模型转换与评估工具 列。模型样例位于 houmo-examples_<release>/houmo-examples-xh2/models/network_type/network_name 目录下。其中,network_type 为网络模型类型,如 backbone;network_name 为网络名称,如 resnet50。
网络名称 |
PTQ量化 |
模型编译 |
模型推理 (C++) |
模型推理 (Python) |
精度评测 |
性能评测 |
模型转换与评估工具 |
|---|---|---|---|---|---|---|---|
ResNet50 |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
MobileNetV2 |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
EfficientNet |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
YOLOv3 |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
YOLOP |
✓ |
✓ |
X |
✓ |
X |
✓ |
✓ |
YOLOv5s |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
YOLOv8m |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
YOLO12m |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
YOLOv8m-pose |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
DeepSeek |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
Qwen3 |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
LPRNet |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
YOLOv8m_seg |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
ViT-B-16 |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
YOLOv5s_feature |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
Gemma-4-26B-A4B |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
Qwen2.5-vl |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
PP-OCRv3 |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
BGE |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
GTE |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
Whisper-Medium |
✓ |
✓ |
✓ |
✓ |
X |
✓ |
X |
yolov8m-cls |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
yolov5m_face |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
yolov7 |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
yolov9m |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
yolo11m |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
yolov10m |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
yolox |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
yolo26m |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
minicpmo |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
qwen3-vl |
✓ |
✓ |
✓ |
✓ |
X |
✓ |
X |
qwen3-30b-a3b |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
gpt-oss |
X |
✓ |
X |
✓ |
X |
✓ |
X |
sensevoice |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
glm-asr |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
qwen3-asr |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
whisper-turbo |
✓ |
✓ |
✓ |
✓ |
X |
✓ |
X |
qwen3-embedding |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
qwen2.5 |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
qwen3.5 |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
qwen3.6 |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
CoPaw-Flash |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
glm-ocr |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
cosyvoice3 |
✓ |
✓ |
✓ |
✓ |
X |
✓ |
X |
qwen3-reranker |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
qwen3-omni |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
qwen3-next |
X |
✓ |
X |
✓ |
X |
✓ |
X |
cam |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
ct_transformer |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
dinov3-base |
✓ |
✓ |
X |
✓ |
✓ |
✓ |
✓ |
mineru2.5 |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
paddleocr-vl |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
z-image |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
qwen3-tts |
✓ |
✓ |
X |
✓ |
X |
✓ |
X |
3. 环境依赖
模型转换与评估工具仅用于ModelZoo模型库的网络模型,因此需要具备ModelZoo样例运行环境。
Linux系统:
Docker镜像可运行于标准Linux环境,推荐使用以下已验证环境:
Ubuntu 24.04(x86_64)
其他Linux环境在满足Docker运行条件的情况下通常也可运行,但未在本产品中进行完整验证。
根据功能不同,镜像分为以下两类:
x86_64全功能镜像:
支持模型量化、模型编译与模型推理。
Dadao-convert-docker-xh2-vx.y.z-ubuntu24.04-x86.64.tarx86_64推理部署镜像(deploy镜像):
仅支持模型推理运行,不包含模型量化与模型编译。
镜像名称中包含
deploy标识。Dadao-deploy-docker-xh2-deploy-vx.y.z-ubuntu24.04-x86.64.tarAArch64推理部署镜像:
仅支持ARM64架构下模型推理运行,不包含模型量化与模型编译。
Dadao-deploy-docker-xh2-deploy-vx.y.z-ubuntu24.04-aarch64.tar
3.1. 环境配置
执行下面操作设置ModelZoo样例运行环境,所有样例默认适配最新版本软件平台:
安装和部署Docker开发环境。有关 Docker 镜像的安装与部署,参看 《快速入门指南》。
在Docker镜像中下载应用开发示例包。
登录后摩开发者社区。
在 请先选择板级类别 下拉列表中选择使用的后摩板级产品。
在版本列表中选择下载的版本号,再在 AI模型类别筛选器 、平台架构筛选器 、操作系统筛选器 下拉菜单中分别选择AI模型类型、平台架构和操作系统,找到资源名为示例代码的下载资源,选中该资源左边复选框。
点击 直接下载、wget链接、批量直接下载 或 wget批量下载 按钮。
ModelZoo模型库位于
houmo-examples-xh2/models目录下。检查
houmo-examples-xh2/env.sh中环境变量设置:根据实际情况修改环境变量的值,例如如果更换数据集路径,则修改 HOUMO_DATASETS_PATH 变量。
环境变量详情参看 ModelZoo环境变量列表。
在
houmo-examples-xh2目录下,执行下面指令配置运行环境:source env.sh
如果在AArch64 架构:不支持模型量化和编译操作,用户可以直接使用提供的已编译模型进行推理。