3. 快速入门
3.1. 系统要求
操作系统：Ubuntu 24.04
架构：X86_64
3.2. 环境依赖
模型量化仅支持在GPU和CPU上完成，需确保torch和torchvision版本与CUDA版本匹配。环境依赖如下表所示：
注意
建议在GPU上量化和评测模型，尤其针对参数规模较大的模型（如超过 1B 级别），可显著提升量化效率与稳定性。
系统和软件依赖 |
GPU |
CPU |
|---|---|---|
系统环境 |
Ubuntu 24.04 |
Ubuntu 24.04 |
CUDA |
12.8 |
N/A |
Python |
3.12.0 |
3.8.0 |
torch |
2.8.0 |
2.8.0 |
torchvision |
0.19.1 |
2.4.1 |
torchaudio |
2.4.1 |
2.4.1 |
3.3. 安装和部署
用户可直接使用 后摩大道® 软件平台提供的 Docker 镜像。该镜像内已预先配置好HMQuantool量化工具，可直接用于模型量化。HMQuantool量化工具存放于Docker 镜像内 /opt/venv/houmo/lib/python3.12/site-packages/xhquant 目录下。有关Docker镜像详情，参看《后摩大道® M50 软件平台快速入门》中“安装与部署”章节。