4.6. 开发样例

M50软件平台提供包含Python接口开发样例。样例提供如何推理ResNet50、Qwen等网络模型。

样例如下表所示：

注意

当前提供的软件平台Docker Ubuntu 24.04 x86_64全功能镜像和运行时开发工具包Ubuntu 24.04 x86_64环境下支持模型编译和推理，其他环境下仅支持模型推理。

表 4.7 ModelZoo环境变量
示例	Linux	Windows	Android	C++	Python	示例描述
qwen3	是	是	是	是	是	Qwen3-8B 推理示例，包含普通对话、Prefix Caching、功耗优化；C++ 明确支持 Linux x86_64、Windows11 x64、Android arm64-v8a。
qwen3_multibatch	是	否	否	否	是	Qwen3-8B-16K 4 batch 多 batch 推理示例，运行 demo_multibatch.py。
qwen3_pipeline	是	否	否	否	是	Qwen3 多芯片并行推理示例，包含 Pipeline Parallel 和 Tensor Parallel 两种 demo。
qwen3_speculative	是	否	否	否	是	Qwen3 投机解码推理示例，使用 draft/target/verify 模型结构运行 demo.py --fast。
resnet50	是	是	否	是	是	ResNet50 单线程推理示例，Python 使用默认 stream，C++ 提供对应推理流程。
resnet50_multistreams	是	是	否	是	是	ResNet50 多线程、多 stream、多设备推理示例；模拟器下仅支持单线程。
resnet50_pipeline	是	是	否	是	否	ResNet50 C++ pipeline 推理示例，并行处理 H2D、推理、D2H，提高单线程吞吐。
yolov5s	是	是	否	是	是	YOLOv5s 目标检测推理示例，包含图像预处理、推理、后处理和结果可视化； ONNX Runtime 后处理方法在 README 中标注仅提供 Linux 运行方式。

下载开发样例包后，开发样例位于 houmo-examples_<release>.zip 开发样例包中，开发样例位于 houmo-examples_<release>/houmo-examples-xh2/apis 目录下。

本文使用 TCIM_PATH 变量代表TCIM样例所在路径。