模型应用示例

简介

M50软件平台提供包含Python接口开发样例。样例提供如何推理ResNet50、Qwen等网络模型。

样例如下表所示：

注意

当前提供的软件平台Docker Ubuntu 24.04 x86_64全功能镜像和运行时开发工具包Ubuntu 24.04 x86_64环境下支持模型编译和推理，其他环境下仅支持模型推理。

表 12 ModelZoo环境变量

示例	Linux	Windows	Android	C++	Python	示例描述
qwen3	是	是	是	是	是	Qwen3-8B 推理示例，包含普通对话、Prefix Caching、功耗优化；C++ 明确支持 Linux x86_64、Windows11 x64、Android arm64-v8a。
qwen3_multibatch	是	否	否	否	是	Qwen3-8B-16K 4 batch 多 batch 推理示例，运行 demo_multibatch.py。
qwen3_pipeline	是	否	否	否	是	Qwen3 多芯片并行推理示例，包含 Pipeline Parallel 和 Tensor Parallel 两种 demo。
qwen3_speculative	是	否	否	否	是	Qwen3 投机解码推理示例，使用 draft/target/verify 模型结构运行 demo.py --fast。
resnet50	是	是	否	是	是	ResNet50 单线程推理示例，Python 使用默认 stream，C++ 提供对应推理流程。
resnet50_multistreams	是	是	否	是	是	ResNet50 多线程、多 stream、多设备推理示例；模拟器下仅支持单线程。
resnet50_pipeline	是	是	否	是	否	ResNet50 C++ pipeline 推理示例，并行处理 H2D、推理、D2H，提高单线程吞吐。
yolov5s	是	是	否	是	是	YOLOv5s 目标检测推理示例，包含图像预处理、推理、后处理和结果可视化； ONNX Runtime 后处理方法在 README 中标注仅提供 Linux 运行方式。

下载开发样例包后，开发样例位于 houmo-examples_<release>.zip 开发样例包中，开发样例位于 houmo-examples_<release>/houmo-examples-xh2/apis 目录下。

本文使用 TCIM_PATH 变量代表TCIM样例所在路径。

运行前准备

下载开发样例包

执行下面步骤下载开发样例包：

1. 登录后摩开发者社区。

2. 在 请先选择相关硬件 下拉列表中选择 M50。

3. 在版本列表中选择下载的版本号，再在 AI模型类别筛选器 、板级类型筛选器 、平台架构筛选器 、操作系统筛选器 下拉菜单中分别选择AI模型类型、产品类型、平台架构和操作系统，找到资源名为示例代码的下载资源，选中该资源左边复选框。

4. 点击 直接下载、wget链接、批量直接下载 或 wget批量下载 按钮。

样例运行

开发样例包可在运行时开发工具包提供的环境中运行。

执行下面步骤完成样例运行：

1. 完成 Linux环境准备。

2. 下载开发样例包。

3. 解压缩 houmo-examples-<target_hw>_<release>.zip。

4. 在 houmo-examples_<release>/houmo-examples 目录下，配置运行环境：

   cd houmo-examples_<release>/houmo-examples
   source env.sh
   

5. 进入要运行的样例目录下，如要运行 qwen3 样例，则进入 houmo-examples_<release>/houmo-examples/apis/inferences/qwen3 目录下。

6. 运行样例目录下 run.sh 脚本推理样例模型。

   样例运行详细步骤，可参看样例目录下 houmo-examples_<release>/houmo-examples/apis/README.md。