4.6. 开发样例

M50软件平台提供包含Python接口开发样例。样例提供如何在Linux系统或Windows系统主机上推理ResNet50等网络模型。

样例包括：

注意

当前提供的软件平台Docker镜像和运行时开发工具包中，仅Ubuntu 24.04（x86_64）环境下支持模型编译和推理，其他环境下仅支持模型推理。

  • yolov5s：YOLOv5s模型推理样例，并输出示例图片检测后的效果图。

  • resnet50：单个ResNet50模型在单设备上编译和推理的样例。

  • qwen3：Qwen3模型推理样例。

  • resnet50_multistreams：多个ResNet50模型在单个或多个设备上推理的样例。

  • resnet50_pipeline：通过流水线方式，对ResNet50模型进行并行化推理处理。

  • qwen3_pipeline：通过流水线方式，对Qwen3模型进行并行化推理处理。

  • qwen3_multibatch：展示如何在M50设备上运行Qwen3-8B-16K 4batch上推理的样例。

  • qwen3_speculative：将编译后的Qwen3模型部署到M50设备上，使用投机解码（Speculative Decoding）进行推理。

下载开发样例包后，开发样例位于 houmo-examples_<release>.zip 开发样例包中，开发样例位于 houmo-examples_<release>/houmo-examples/apis 目录下。

本文使用 TCIM_PATH 变量代表TCIM样例所在路径。