软件组件与平台支持矩阵

表 1 软件组件与平台支持矩阵

软件组件

Ubuntu 24.04 x86_64

Ubuntu 22.04 x86_64

Ubuntu 20.04 x86_64

Ubuntu 20.04 AArch64

驱动

Docker容器镜像

模型量化

X

X

X

模型编译

X

X

X

模型推理

SMI工具

HMDML设备管理库

模型信息获取工具(readhmm)

PCIe性能评测工具(pcie_test)

部署环境检测工具(hm_check)

模型权重共享工具(hmmstrip)

模型转换与评估工具(hmatc)

受限支持1

受限支持1

受限支持1

Profiler性能调试工具

X

X

X

芯片算力基准测试工具(computing_perf)

受限支持2

受限支持2

受限支持2

芯片DDR带宽基准测试工具(bandwidth_perf)

受限支持2

受限支持2

受限支持2

LLM推理性能评测工具(llm_perf)

模型推理性能评测工具(tcim_perf)

LLM精度评测工具(hmeval)

X

ModelZoo模型开发样例

受限支持3

受限支持3

受限支持3

模型应用示例

说明:

  • :支持。

  • X:不支持。

  • 受限支持1:当前平台不支持模型量化和模型编译能力,因此模型转换与评估工具(hmatc)中与量化、编译相关的命令不可用。

  • 受限支持2:当前平台不支持模型编译,相关工具无法执行包含编译阶段的完整性能测试流程,需通过参数跳过编译阶段后使用。

  • 受限支持3:ModelZoo模型开发样例中涉及量化、编译的脚本不可用。