后摩大道^® M50 TCIM用户手册

目录

• 1. 更新历史
• 2. 概述
  • 2.1. 简介
  • 2.2. 总体架构
    • 2.2.1. 前端表示层
    • 2.2.2. 模型编译和优化
    • 2.2.3. 运行时
  • 2.3. 主要功能
  • 2.4. 优化特性
  • 2.5. 适用场景
  • 2.6. 编程流程
• 3. 模型编译
  • 3.1. 模型编译
  • 3.2. LLM编译
    • 3.2.1. 编译模型步骤
• 4. 运行时推理与部署
  • 4.1. 功能特性
    • 4.1.1. 内存管理
    • 4.1.2. 设备管理
      • 4.1.2.1. 指定设备
    • 4.1.3. Stream管理
    • 4.1.4. 数据存储
      • 4.1.4.1. Stride
      • 4.1.4.2. 连续存储
      • 4.1.4.3. 非连续存储
      • 4.1.4.4. 图像数据存储
        • 4.1.4.4.1. 拆分后的存储格式
    • 4.1.5. 数据获取及拷贝
      • 4.1.5.1. 主机端到设备端拷贝
        • 4.1.5.1.1. 高性能方法
      • 4.1.5.2. 设备端到主机端拷贝
        • 4.1.5.2.1. 高性能方法
      • 4.1.5.3. 最佳实践
    • 4.1.6. Tensor信息
    • 4.1.7. 图像数据处理
      • 4.1.7.1. 量化时图像预处理
      • 4.1.7.2. 固定输入尺寸
        • 4.1.7.2.1. 图像处理流程和限制
        • 4.1.7.2.2. 参数说明
        • 4.1.7.2.3. 单图单区域动态裁剪
        • 4.1.7.2.4. 单图多区域动态裁剪
        • 4.1.7.2.5. 多图多区域动态裁剪
    • 4.1.8. 模型权重复用
      • 4.1.8.1. 使用限制
    • 4.1.9. 设备控制
      • 4.1.9.1. DVFS配置
    • 4.1.10. 自动复位机制
      • 4.1.10.1. 特性说明
      • 4.1.10.2. 自动复位流程与状态码处理
      • 4.1.10.3. 环境变量配置
      • 4.1.10.4. 并发推理场景
      • 4.1.10.5. 芯片间互联部署场景
      • 4.1.10.6. 回调函数说明
      • 4.1.10.7. 不适用场景
      • 4.1.10.8. 注意事项
      • 4.1.10.9. 手动复位
    • 4.1.11. 后端（Backend）
      • 4.1.11.1. 设置后端
        • 4.1.11.1.1. Weight manager和stream
        • 4.1.11.1.2. 模型输入输出tensor
      • 4.1.11.2. 获取后端
    • 4.1.12. 硬件特性
  • 4.2. 模型推理
    • 4.2.1. 模型输入输出数据
      • 4.2.1.1. 内存分配
        • 4.2.1.1.1. 主机内存上存放数据
        • 4.2.1.1.2. 后摩设备内存上存放数据
      • 4.2.1.2. 设置模型输入数据
      • 4.2.1.3. 获取模型推理后输出数据
      • 4.2.1.4. 获取模型输入数据
      • 4.2.1.5. 设置模型输出数据
      • 4.2.1.6. 数据类型转换
    • 4.2.2. 注意事项
    • 4.2.4. 使用C++ API推理模型
    • 4.2.5. 使用Python API推理模型
  • 4.3. LLM推理
    • 4.3.1. 推理模型步骤
    • 4.3.2. MTP多token投机解码流程
      • 4.3.2.1. 功能差异
      • 4.3.2.2. 模型文件
      • 4.3.2.3. 模型加载
      • 4.3.2.4. 缓存绑定
      • 4.3.2.5. MTP Prefill
      • 4.3.2.6. MTP Decode
      • 4.3.2.7. Verify与提交
      • 4.3.2.8. 指标统计
      • 4.3.2.9. 注意事项
  • 4.4. 模型部署
    • 4.4.1. 单模型单设备部署
    • 4.4.3. 单模型多设备部署
    • 4.4.4. 多模型部署
      • 4.4.4.1. 限制说明
  • 4.5. 运行时开发工具包
    • 4.5.1. Linux 环境配置
      • 4.5.1.1. 使用依赖
      • 4.5.1.2. 环境准备
    • 4.5.2. Windows 环境配置
      • 4.5.2.1. 限制说明
      • 4.5.2.2. 使用依赖
      • 4.5.2.3. 环境准备
    • 4.5.3. Android环境配置
      • 4.5.3.1. 使用依赖
      • 4.5.3.2. 环境准备
  • 4.6. 开发样例
    • 4.6.1. 下载开发样例包
    • 4.6.2. 样例运行
      • 4.6.2.1. Linux环境下示例运行
      • 4.6.2.2. Windows环境下示例运行
      • 4.6.2.3. Android环境下示例运行
        • 4.6.2.3.1. 主机端安装Docker镜像
        • 4.6.2.3.2. 配置主机端Docker镜像环境
        • 4.6.2.3.3. 编译示例程序与模型准备
        • 4.6.2.3.4. 推送模型文件
        • 4.6.2.3.5. 推理模型
    • 4.6.3. 单模型单设备样例
      • 4.6.3.1. C++ API
      • 4.6.3.2. Python API
• 5. 常见错误解析
  • 5.1. 编译错误
  • 5.2. 推理错误
  • 5.3. 运行时部署错误
  • 5.4. 示例部署错误
  • 5.5. 程序运行