6.1. 样例说明

ModelZoo提供的网络模型样例所展示的功能如下表所示:

注意

AArch64架构不支持模型量化和编译操作。用户需要使用编译后二进制模型文件(.hmm或.hmms)在AArch64架构环境中推理。

表 6.1 ModelZoo网络模型样例展示功能说明

网络名称

PTQ量化

模型编译

模型推理 (C++)

模型推理 (Python)

精度评测

性能评测

模型转换与评估工具

ResNet50

✓

✓

X

✓

✓

✓

✓

MobileNetV2

✓

✓

X

✓

✓

✓

✓

EfficientNet

✓

✓

X

✓

✓

✓

✓

YOLOv3

✓

✓

X

✓

✓

✓

✓

YOLOP

✓

✓

X

✓

X

✓

✓

YOLOv5s

✓

✓

X

✓

✓

✓

✓

YOLOv8m

✓

✓

X

✓

✓

✓

✓

YOLO12m

✓

✓

X

✓

✓

✓

✓

YOLOv8m-pose

✓

✓

X

✓

✓

✓

✓

LPRNet

✓

✓

X

✓

✓

✓

✓

YOLOv8m_seg

✓

✓

X

✓

✓

✓

✓

ViT-B-16

✓

✓

X

✓

✓

✓

✓

YOLOv5s_feature

✓

✓

X

✓

✓

✓

✓

Gemma-4

✓

✓

X

✓

X

✓

✓

BGE

✓

✓

X

✓

X

✓

X

GTE

✓

✓

X

✓

X

✓

X

Whisper-Medium

✓

✓

✓

✓

X

✓

X

yolov8m-cls

✓

✓

X

✓

✓

✓

✓

yolov5m_face

✓

✓

X

✓

✓

✓

✓

yolov7

✓

✓

X

✓

✓

✓

✓

yolov9m

✓

✓

X

✓

✓

✓

✓

yolo11m

✓

✓

X

✓

✓

✓

✓

yolov10m

✓

✓

X

✓

✓

✓

✓

yolox

✓

✓

X

✓

✓

✓

✓

yolo26m

✓

✓

X

✓

✓

✓

✓

sensevoice

✓

✓

X

✓

X

✓

X

glm-asr

✓

✓

✓

✓

X

✓

X

qwen3-asr

✓

✓

✓

✓

X

✓

X

whisper-turbo

✓

✓

✓

✓

X

✓

X

qwen3-embedding

✓

✓

X

✓

X

✓

X

qwen3-vl-embedding

✓

✓

X

✓

X

✓

X

laguna-s-2.1

✓

✓

X

✓

X

✓

X

qwen3.5

✓

✓

✓

✓

X

✓

X

qwen3.6

✓

✓

✓

✓

X

✓

X

qwen3.8

✓

✓

✓

✓

X

✓

X

glm-ocr

✓

✓

X

✓

X

✓

X

cosyvoice3

✓

✓

✓

✓

X

✓

X

qwen3-reranker

✓

✓

X

✓

X

✓

X

qwen3-omni

✓

✓

X

✓

X

✓

X

cam

✓

✓

X

✓

X

✓

X

ct_transformer

✓

✓

X

✓

X

✓

X

dinov3-base

✓

✓

X

✓

✓

✓

✓

mineru2.5

✓

✓

X

✓

X

✓

X

z-image

✓

✓

X

✓

X

✓

X

qwen3-tts

✓

✓

✓

✓

X

✓

X

emotion2vec

✓

✓

X

✓

X

✓

X

funaudiochat

✓

✓

X

✓

X

✓

X

minicpm-v-4.5

✓

✓

X

✓

X

✓

X

minicpm-v-4.6

✓

✓

X

✓

X

✓

X

ornith1.0

✓

✓

X

✓

X

✓

X

paddleocr_v5

✓

✓

X

✓

X

X

✓

paddleocr-vl-1.6

✓

✓

X

✓

X

✓

X

qwen-agentworld

✓

✓

X

✓

X

✓

X

sam2

✓

✓

X

✓

X

✓

✓

sam3

✓

✓

X

✓

X

X

X

siglip2

✓

✓

X

✓

✓

✓

X

ModelZoo只提供上表中的网络模型样例,其他网络模型,暂不提供样例。ResNet50、MobileNetV2、YOLOv5s、YOLOv8m和YOLOP等模型示例通过模型转换与评估工具展示PTQ量化、模型编译、模型推理、精度评测以及性能评测。

6.1.1. 部分模型示例废弃说明

自本版本起,ModelZoo 中部分模型示例已废弃并停止维护。

已废弃的模型示例不再进行功能更新、适配验证及问题修复,也不再作为后续版本的维护对象。为确保持续获得功能更新、性能优化及兼容性支持,建议用户迁移至新版本模型示例或等效替代方案。

废弃模型列表,参看应用开发示例包中的 houmo-examples-<target_hw>_<release>.zip/houmo-examples-xh2/README.md 文档。

6.2. 环境准备

执行下面步骤完成运行环境部署,所有样例默认适配最新版本软件平台:

  1. 安装和部署Docker开发环境。

  1. 在Docker镜像中下载应用开发示例包。

    1. 登录后摩开发者社区。

    2. 在 请先选择板级类别 下拉列表中选择使用的后摩板级产品。

    3. 在版本列表中选择下载的版本号,再在 AI模型类别筛选器 、平台架构筛选器 、操作系统筛选器 下拉菜单中分别选择AI模型类型、平台架构和操作系统,找到资源名为示例代码的下载资源,选中该资源左边复选框。

    4. 点击 直接下载、wget链接、批量直接下载 或 wget批量下载 按钮。

  2. 执行下面指令解压应用开发示例包:

    unzip houmo-examples-xh2_<release>.zip
    

    ModelZoo模型库位于 houmo-examples-xh2/models 目录下。

  3. 检查 houmo-examples-xh2/env.sh 中环境变量设置,根据实际情况修改环境变量的值。

    环境变量详情参看 ModelZoo环境变量列表。

  4. 下载模型数据集,并设置 HOUMO_DATASETS_PATH 环境变量为数据集存放目录。

  5. 在 houmo-examples-xh2 目录下,执行下面指令配置运行环境:

    source env.sh
    
  6. 如果在AArch64 架构:不支持模型量化和编译操作,用户可以直接使用提供的已编译模型进行推理。

6.2.1. 环境变量

表 6.2 ModelZoo环境变量

环境变量名称

描述

默认值

HOUMO_TARGET

ModelZoo中模型编译和推理使用的后摩设备。

xh2

HOUMO_DATASETS_PATH

ModelZoo数据库存放目录。

houmo-examples-xh2/data/datasets

HOUMO_MODELZOO_URL

ModelZoo中模型下载根目录。

http://139.224.0.199:8082/artifactory/houmo/release

6.3. 模型获取

ModelZoo提供原始模型和量化模型。用户可根据需求对原始模型量化,或直接使用已量化模型做模型推理。

ModelZoo提供的各网络模型的类型及原始模型如下表所示:

表 6.3 ModelZoo网络模型的类型及原始模型

网络名称

原始模型

量化后模型

预编译模型

原始模型来源

ResNet50

✓

X

✓

ResNet50 torchvision 模型

MobileNetV2

✓

X

✓

MobileNetV2 torchvision 模型

EfficientNet

✓

X

✓

EfficientNet torchvision模型

YOLOP

✓

X

✓

YOLOP 模型

YOLOv3

✓

X

✓

YOLOv3 模型

YOLOv5s

✓

X

✓

YOLOv5s 模型

YOLOv8m

✓

X

✓

YOLOv8m 模型

YOLO12m

✓

X

✓

YOLO12m 模型

YOLOv8m-pose

✓

X

✓

YOLOv8m-pose模型

LPRNet

✓

X

✓

-

ViT-B-16

✓

X

✓

ViT-B-16模型

YOLOv8m_seg

✓

X

✓

YOLOv8m_seg模型

YOLOv5s_feature

✓

X

✓

-

Gemma-4-26B-A4B

✓

X

✓

Gemma-4-26B-A4B模型

Gemma-4-26B-A4B-it-assistant模型

Gemma-4-E4B

✓

X

✓

Gemma-4-E4B模型

Gemma-4-E4B-it-assistant模型

Gemma-4-E2B

✓

X

✓

Gemma-4-E2B模型

Gemma-4-E2B-it-assistant模型

Gemma-4-31B

✓

X

✓

Gemma-4-31B模型

Gemma-4-31B-it-assistant模型

GTE

✓

X

✓

GTE模型

Whisper-Medium

✓

X

✓

Whisper-Medium模型

YOLOv8m-cls

✓

X

✓

YOLOv8m-cls模型

YOLOv5m_face

✓

X

✓

YOLOv5m_face模型

BGE

✓

X

✓

BGE-M3模型

BGE-Reranker模型

YOLOv7

✓

X

✓

YOLOv7模型

YOLOv9m

✓

X

✓

YOLOv9m模型

YOLOv10m

✓

X

✓

YOLOv10m模型

YOLO11m

✓

X

✓

YOLO11m模型

YOLOX

✓

X

✓

YOLOX模型

YOLO26m

✓

X

✓

YOLO26m模型

sensevoice

✓

X

✓

SenseVoiceSmall模型

glm-asr

✓

X

✓

GLM-ASR-Nano-2512模型

Qwen3-ASR-0.6B

✓

X

✓

Qwen3-ASR-0.6B模型

Qwen3-ASR-1.7B

✓

X

✓

Qwen3-ASR-1.7B模型

Qwen3-ForcedAligner -0.6B

✓

X

✓

Qwen3-ForcedAligner-0.6B模型

whisper-turbo

✓

X

✓

whisper-turbo模型

qwen3-embedding

✓

X

✓

Qwen3-Embedding模型

laguna-s-2.1

✓

X

✓

laguna-s-2.1模型

qwen3.5-0.8B

✓

X

✓

qwen3.5-0.8B模型

qwen3.5-2B

✓

X

✓

qwen3.5-2B模型

qwen3.5-4B

✓

X

✓

qwen3.5-4B模型

qwen3.5-9B

✓

X

✓

qwen3.5-9B模型

Qwen3.5-122B-a10B

✓

X

✓

Qwen3.5-122B-a10B模型

Qwen3.6-27B

✓

X

✓

Qwen3.6-27B模型

Qwen3.6-35B-A3B

✓

X

✓

Qwen3.6-35B-A3B模型

Qwen3.8-27B

✓

X

✓

Qwen3.8-27B模型

glm-ocr

✓

X

✓

GLM-OCR模型

cosyvoice3

✓

X

✓

cosyvoice3模型

qwen3-reranker

✓

X

✓

Qwen3-Reranker模型

mineru2.5

✓

X

✓

mineru2.5模型

dinov3-base

✓

X

✓

dinov3-base模型

ct_transformer

✓

X

✓

ct_transformer模型

cam

✓

X

✓

cam模型

qwen3-omni

✓

X

✓

qwen3-omni模型

z-image-6B

✓

X

✓

z-image-6B模型

Qwen3-tts-0.6B-base

✓

X

✓

Qwen3-tts-0.6B-base模型

Qwen3-tts-0.6B-cust omvoice

✓

X

✓

Qwen3-tts-0.6B-customvoice模型

siglip2

✓

X

✓

siglip2模型

sam3

✓

X

✓

sam3模型

sam2

✓

X

✓

-

qwen-agentworld

✓

X

✓

qwen-agentworld模型

paddleocr-vl-1.6

✓

X

✓

paddleocr-vl-1.6模型

paddleocr_v5

✓

X

✓

-

ornith1.0

✓

X

✓

ornith1.0模型

minicpm-v-4.6

✓

X

✓

minicpm-v-4.6模型

minicpm-v-4.5

✓

X

✓

minicpm-v-4.5模型

funaudiochat

✓

X

✓

funaudiochat模型

emotion2vec

✓

X

✓

emotion2vec模型

Qwen3-tts-1.7B-cust omvoice

✓

X

✓

Qwen3-tts-1.7B-customvoice模型

qwen3-vl-embedding

✓

X

✓

qwen3-vl-embedding模型

环境准备后,在 MODELZOO_PATH/models/network_type/network_name 目录下,运行下面指令下载模型。network_type 为网络模型类型,如 diffusion、llm。network_name 为网络名称,如 qwen3。

python3 get_model.py --type [options] --model_name <name> \
  --model_size <size> --source_type modelscope

其中参数取值如下:

  • options:

    • raw:原始网络模型。

    • hmm:后摩TCIM编译后生成的二进制模型文件(.hmm或.hmms)。

  • name:(可选)仅部分模型适用,用于指定下载模型名称。 可参看示例目录中的 README.MD 文件,了解具体的模型名称及是否支持该功能。

  • size:(可选)仅部分模型适用,用于指定待下载模型的参数规模。 <size> 的取值可为2b、4b、9b、27b等,不同模型支持的取值不同,具体以对应示例目录中的 README.md 说明为准。

  • modelscope:(可选)从魔塔社区下载模型。当前仅支持下载后摩TCIM编译后生成的二进制模型文件。可参看示例目录中的 README.md 文件,了解示例是否支持该功能。

模型下载后默认存放在当前目录下。

6.4. 数据集准备

ModelZoo提供少量数据供简单验证,如果需要测试真实精度,需要下载完整数据集。

通过 HOUMO_DATASETS_PATH 环境变量设置数据集实际路径,默认为 MODELZOO_PATH/data/datasets。

表 6.4 数据集准备

网络名称

数据集名称

路径

ResNet50

ImageNet 2012

https://image-net.org/challenges/LSVRC

MobileNetV2

EfficientNet

YOLOv8m-cls

dinov3-base

siglip2

YOLOv3

COCO 2017

https://cocodataset.org/#download

YOLOv5s

YOLOv8m

YOLO12m

YOLOv8m-pose

YOLOv5s_feature

YOLOv8m_seg

YOLOv7

YOLOv9m

YOLOv10m

YOLO11m

YOLOX

YOLO26m

YOLOv5m_face

WIDER FACE

http://shuoyang1213.me/WIDERFACE/

YOLOP

BDD100K

https://bdd-data.berkeley.edu/

Qwen3.5

wikitext-2-raw-v1

https://www.modelscope.cn/datasets/modelscope/wikitext

Qwen3.6

Qwen3.8

qwen3-embedding

qwen3-omni

qwen-agentworld

Gemma-4

-

-

ViT-B-16

ILSVRC2012

https://image-net.org/challenges/LSVRC/2012/index.php

LPRNet

CCPD2019Sub

https://github.com/detectRecog/CCPD

BGE

-

-

GTE

-

-

Whisper-Medium

-

-

sensevoice

-

-

glm-asr

-

-

qwen3-asr

-

-

whisper-turbo

-

-

glm-ocr

-

-

cosyvoice3

-

-

qwen3-reranker

T2Reranking

https://modelscope.cn/datasets/C-MTEB/T2Reranking

mineru2.5

-

-

ct_transformer

-

-

cam

-

-

z-image-6B

-

-

Qwen3-tts

-

-

sam3

-

-

sam2

-

-

qwen3-vl-embedding

-

-

paddleocr-vl-1.6

-

-

paddleocr_v5

-

-

ornith1.0

-

-

minicpm-v-4.6

-

-

minicpm-v-4.5

-

-

funaudiochat

-

-

emotion2vec

-

-

laguna-s-2.1

-

-