后摩大道^® M50 软件平台快速入门

目录

• 1. 更新历史
• 2. 简介
  • 2.1. 重点功能
  • 2.2. 软件平台架构
    • 2.2.1. 系统软件
    • 2.2.2. TCIM
    • 2.2.3. HMQuantool
    • 2.2.4. HmUpdateTool
    • 2.2.5. SMI
    • 2.2.6. HMDML
    • 2.2.7. Tool Suite
  • 2.3. 算子列表
    • 2.3.1. 整体约束
    • 2.3.2. 支持的ONNX算子列表
• 3. 安装与部署
  • 3.1. Linux主机端安装与部署
    • 3.1.1. Docker镜像安装与部署
      • 3.1.1.1. 使用依赖
      • 3.1.1.2. 操作步骤
      • 3.1.1.3. 环境变量
        • 3.1.1.3.1. 环境变量列表
        • 3.1.1.3.2. 配置运行平台模式
      • 3.1.1.4. Docker镜像预置软件内容
    • 3.1.2. 运行时开发工具包安装与部署
      • 3.1.2.1. 使用依赖
      • 3.1.2.2. 环境准备
  • 3.2. Windows主机端安装与部署
    • 3.2.1. 使用依赖
    • 3.2.2. 操作步骤
    • 3.2.3. 环境变量
  • 3.3. Android终端部署
    • 3.3.1. 使用依赖
    • 3.3.2. 操作步骤
• 4. 使用流程
  • 4.1. 模型评估
    • 4.1.1. 模型量化
    • 4.1.2. 模型编译
    • 4.1.3. 模型推理
    • 4.1.4. 性能评估
    • 4.1.5. 精度评估
  • 4.2. 应用实践
• 5. 应用开发实践
  • 5.1. CV类模型
    • 5.1.1. 量化模型
      • 5.1.1.1. 模型量化步骤
    • 5.1.2. 编译模型
      • 5.1.2.1. 模型编译步骤
      • 5.1.2.2. 直接获取已编译模型
    • 5.1.3. 推理模型
  • 5.2. LLM模型
• 6. ModelZoo模型库
  • 6.1. 样例说明
  • 6.2. 环境准备
    • 6.2.1. 环境变量
  • 6.3. 模型获取
  • 6.4. 数据集准备
  • 6.5. 样例运行
  • 6.6. LLM样例
    • 6.6.1. 样例介绍
      • 6.6.1.1. 特别说明
    • 6.6.2. Qwen3模型样例运行
      • 6.6.2.1. 模型推理验证
      • 6.6.2.2. 完整开发流程：从开源模型到设备推理
        • 6.6.2.2.1. 软硬件环境要求
        • 6.6.2.2.2. 开发流程
        • 6.6.2.2.3. 准备量化和编译开发环境
        • 6.6.2.2.4. 下载Qwen3-8B模型
        • 6.6.2.2.5. 量化模型
        • 6.6.2.2.6. 编译模型
    • 6.6.3. 性能评测指标
      • 6.6.3.1. 背景知识
      • 6.6.3.2. 评测指标
      • 6.6.3.3. 首Token延迟及TPS
      • 6.6.3.4. 每个输出token的延迟及TPS
      • 6.6.3.5. 端到端延迟及TPS
• 7. 开发样例
  • 7.1. Linux开发样例
  • 7.2. Windows开发样例
• 8. 版本发布信息
  • 8.1. 组件版本号
  • 8.2. 发布包说明
    • 8.2.1. 系统软件发布包
    • 8.2.2. Docker镜像
    • 8.2.3. 运行时开发工具包（Runtime SDK）
    • 8.2.4. 应用开发示例包（示例代码）