2.1. 简介

芯片算力基准测试工具用于对 后摩漫界® M50 芯片AI 加速器的峰值推理算力进行评估。

评测方法采用微基准测试模型，并构建了一个由多层卷积 (Convolutional) 算子组成的 ONNX 标准模型。该负载设计旨在生成高计算密度，确保最大限度地激活目标芯片的计算引擎，以逼近芯片的理论峰值。

评测过程采用多线程并发方式，执行预设数量的样本推理，并测量其总运行时间。最终基于模型的单样本理论浮点运算次数和总运行时间，计算出芯片在 INT8或BFP16 格式下的实际有效算力。

2.1.1. 性能说明

所计算的实际有效算力通常会低于芯片的理论峰值。这是由于总运行时间的统计是在主机 CPU 端完成的，其中包含但不限于以下关键的非计算开销：

  • 数据传输开销： 将输入数据从主机内存拷贝到目标芯片，以及将推理结果从目标芯片拷回主机端的时间。

  • 系统管理开销： 模型加载、线程调度、驱动程序调用以及其他必要的同步与管理操作耗时。

因此，实际有效算力代表的是端到端（包含数据搬运）的综合性能表现。

2.2. 环境准备

2.2.1. 环境依赖

本测试支持Linux X86及Linux AArch64平台：

  • Linux X86平台： 本测试将生成一个包含若干层卷积的ONNX模型，编译该模型并在芯片上推理，统计模型运行时间，最终计算得到芯片运行该模型的算力。

  • Linux AArch64平台： 本测试将下载一个包含若干层卷积的预编译模型，在芯片上推理该模型，统计模型运行时间，最终计算得到芯片运行该模型的算力。该平台不支持执行包含模型编译步骤的完整测试流程。如需在该平台使用本工具，请设置 --skip-build 参数，跳过模型编译步骤，仅执行模型推理。

2.2.2. 运行环境

注意

建议使用M50 芯片V2版本进行算力测试。

软件平台提供的Docker镜像包含工具运行环境。有关Docker镜像的安装与部署，参看《后摩大道® 软件平台快速入门》。

2.2.3. Linux环境准备

工具使用前，执行下面指令配置运行环境：

  1. 下载应用开发示例包。

  2. 将应用开发示例包拷贝到 可运行环境。

  3. 在 houmo-examples-xh2 目录下，执行下面命令设置环境变量：

    source env.sh

  4. 在工具所在目录运行相关指令。该工具位于应用开发示例包 houmo-examples_<release>.zip 中 houmo-examples-xh2/tools/computing_perf 目录下。

2.2.3.1. 下载应用开发示例包

执行下面步骤在主机端下载应用开发示例包：

  1. 登录后摩开发者社区 。

  2. 在 请先选择板级类别 下拉列表中选择使用的后摩板级产品。

  3. 在版本列表中选择下载的版本号，再在 AI模型类别筛选器 、平台架构筛选器 、操作系统筛选器 下拉菜单中分别选择AI模型类型、平台架构和操作系统，找到资源名为示例代码的下载资源，选中该资源左边复选框。

  4. 点击 直接下载、wget链接、批量直接下载 或 wget批量下载 按钮，下载驱动安装包。