3.1. 简介

芯片DDR带宽基准测试工具通过AI模型推理方式,评测 后摩漫界® M50 芯片DDR内存的最大有效带宽。

评测通过构建包含简单算子的访存密集型 ONNX 模型,并采用多线程并发方式,执行预设数量的样本推理。该方式能够最大限度地激活 DDR 内存通道,以逼近硬件的最大理论传输极限。

3.1.1. 性能说明

所计算的实际有效带宽通常会低于目标芯片的理论峰值带宽。主要是总运行时间统计在主机 CPU 端完成,其中包含了驱动程序调用、指令调度和线程同步等系统管理开销,这些延迟降低了纯粹的数据传输速率。因此,实际有效带宽是一个端到端的综合指标,衡量的是芯片在实际模型负载约束下的真实数据传输效率。

3.2. 环境准备

3.2.1. 环境依赖

本测试支持Linux X86及Linux AArch64平台:

  • Linux X86平台: 本测试将生成一个包含简单算子的ONNX模型,编译该模型并在芯片上推理,统计模型运行时间,最终计算得到芯片运行该模型的带宽。

  • Linux AArch64平台: 本测试将下载一个包含简单算子的预编译模型,在芯片上推理该模型,统计模型运行时间,最终计算得到芯片运行该模型的带宽。该平台不支持执行包含模型编译步骤的完整测试流程。如需在该平台使用本工具,请设置 --skip-build 参数,跳过模型编译步骤,仅执行模型推理。

3.2.2. 运行环境

软件平台提供的Docker镜像包含工具运行环境。有关Docker镜像的安装与部署,参看《后摩大道® 软件平台快速入门》。

3.2.3. Linux环境准备

工具使用前,执行下面指令配置运行环境:

  1. 下载应用开发示例包

  2. 将应用开发示例包拷贝到 可运行环境

  3. houmo-examples-xh2 目录下,执行下面命令设置环境变量:

    source env.sh
    
  4. 在工具所在目录运行相关指令。该工具位于应用开发示例包 houmo-examples_<release>.ziphoumo-examples-xh2/tools/bandwidth_perf 目录下。