模型应用示例

简介

M50软件平台提供包含Python接口开发样例。样例提供如何在Linux系统或Windows系统主机上推理ResNet50等网络模型。

样例包括：

注意

当前提供的软件平台Docker镜像和运行时开发工具包中，仅Ubuntu 24.04（x86_64）环境下支持模型编译和推理，其他环境下仅支持模型推理。

  • yolov5s：YOLOv5s模型推理样例，并输出示例图片检测后的效果图。

  • resnet50：单个ResNet50模型在单设备上编译和推理的样例。

  • qwen3：Qwen3模型推理样例。

  • resnet50_multistreams：多个ResNet50模型在单个或多个设备上推理的样例。

  • resnet50_pipeline：通过流水线方式，对ResNet50模型进行并行化推理处理。

  • qwen3_pipeline：通过流水线方式，对Qwen3模型进行并行化推理处理。

  • qwen3_multibatch：展示如何在M50设备上运行Qwen3-8B-16K 4batch上推理的样例。

  • qwen3_speculative：将编译后的Qwen3模型部署到M50设备上，使用投机解码（Speculative Decoding）进行推理。

下载开发样例包后，开发样例位于 houmo-examples_<release>.zip 开发样例包中，开发样例位于 houmo-examples_<release>/houmo-examples/apis 目录下。

本文使用 TCIM_PATH 变量代表TCIM样例所在路径。

运行前准备

下载开发样例包

执行下面步骤下载开发样例包：

  1. 登录后摩开发者社区。

  2. 在 请先选择相关硬件 下拉列表中选择 M50。

  3. 在版本列表 中选择下载的版本号，再在 AI模型类别筛选器 、板级类型筛选器 、平台架构筛选器 、操作系统筛选器 下拉菜单中分别选择AI模型类型、产品类型、平台架构和操作系统，找到资源名为示例代码的下载资源，选中该资源左边复选框。

  4. 点击 直接下载、wget链接、批量直接下载 或 wget批量下载 按钮。

样例运行

开发样例包可在运行时开发工具包提供的环境中运行。

执行下面步骤完成样例运行：

  1. 完成 Linux环境准备。

  2. 下载开发样例包。

  3. 解压缩 houmo-examples_<release>.zip。

  4. 在 houmo-examples_<release>/houmo-examples 目录下，配置运行环境：

    cd houmo-examples_<release>/houmo-examples
source env.sh

  5. 进入要运行的样例目录下，如要运行 qwen3 样例，则进入 houmo-examples_<release>/houmo-examples/apis/inferences/qwen3 目录下。

  6. 运行样例目录下 run.sh 脚本推理样例模型。

    样例运行详细步骤，可参看样例目录下 houmo-examples_<release>/houmo-examples/apis/README.md。