3.1. 简介
芯片DDR带宽基准测试工具通过AI模型推理方式,评测 后摩漫界® M50 芯片DDR内存的最大有效带宽。
评测通过构建包含简单算子的访存密集型 ONNX 模型,并采用多线程并发方式,执行预设数量的样本推理。该方式能够最大限度地激活 DDR 内存通道,以逼近硬件的最大理论传输极限。
3.1.1. 性能说明
所计算的实际有效带宽通常会低于目标芯片的理论峰值带宽。主要是总运行时间统计在主机 CPU 端完成,其中包含了驱动程序调用、指令调度和线程同步等系统管理开销,这些延迟降低了纯粹的数据传输速率。因此,实际有效带宽是一个端到端的综合指标,衡量的是芯片在实际模型负载约束下的真实数据传输效率。
3.2. 环境准备
3.2.1. 环境依赖
本测试支持Linux X86及Linux AArch64平台:
Linux X86平台: 本测试将生成一个包含简单算子的ONNX模型,编译该模型并在芯片上推理,统计模型运行时间,最终计算得到芯片运行该模型的带宽。
Linux AArch64平台: 本测试将下载一个包含简单算子的预编译模型,在芯片上推理该模型,统计模型运行时间,最终计算得到芯片运行该模型的带宽。该平台不支持执行包含模型编译步骤的完整测试流程。如需在该平台使用本工具,请设置
--skip-build参数,跳过模型编译步骤,仅执行模型推理。
3.2.2. 运行环境
软件平台提供的Docker镜像包含工具运行环境。有关Docker镜像的安装与部署,参看《后摩大道® 软件平台快速入门》。
3.2.3. Linux环境准备
工具使用前,执行下面指令配置运行环境: