M50 TCIM用户手册
1.3.0

目录

  • 1. 更新历史
  • 2. 概述
  • 3. 模型编译
  • 4. 运行时推理与部署
    • 4.1. 功能特性
      • 4.1.1. 内存管理
      • 4.1.2. 设备管理
      • 4.1.3. Stream管理
      • 4.1.4. 数据存储
      • 4.1.5. 数据获取及拷贝
      • 4.1.6. Tensor信息
      • 4.1.7. 图像数据处理
      • 4.1.8. 模型权重复用
      • 4.1.9. 设备控制
      • 4.1.10. 后端(Backend)
      • 4.1.11. 硬件特性
    • 4.2. 模型推理
    • 4.3. LLM推理
    • 4.4. 模型部署
    • 4.5. 运行时开发工具包
    • 4.6. 开发样例
  • 5. 常见错误解析
  • 版权声明
M50 TCIM用户手册
  • 4. 运行时推理与部署
  • 4.1. 功能特性

4.1. 功能特性

  • 4.1.1. 内存管理
  • 4.1.2. 设备管理
    • 4.1.2.1. 指定设备
  • 4.1.3. Stream管理
  • 4.1.4. 数据存储
    • 4.1.4.1. Stride
    • 4.1.4.2. 连续存储
    • 4.1.4.3. 非连续存储
    • 4.1.4.4. 图像数据存储
      • 4.1.4.4.1. 拆分后的存储格式
        • 4.1.4.4.1.1. 示例
  • 4.1.5. 数据获取及拷贝
    • 4.1.5.1. 主机端到设备端拷贝
      • 4.1.5.1.1. 高性能方法
    • 4.1.5.2. 设备端到主机端拷贝
      • 4.1.5.2.1. 高性能方法
    • 4.1.5.3. 最佳实践
  • 4.1.6. Tensor信息
  • 4.1.7. 图像数据处理
    • 4.1.7.1. 量化时图像预处理
    • 4.1.7.2. 固定输入尺寸
      • 4.1.7.2.1. 图像处理流程和限制
      • 4.1.7.2.2. 参数说明
      • 4.1.7.2.3. 单图单区域动态裁剪
      • 4.1.7.2.4. 单图多区域动态裁剪
      • 4.1.7.2.5. 多图多区域动态裁剪
  • 4.1.8. 模型权重复用
    • 4.1.8.1. 使用限制
  • 4.1.9. 设备控制
    • 4.1.9.1. DVFS配置
  • 4.1.10. 后端(Backend)
    • 4.1.10.1. 设置后端
      • 4.1.10.1.1. Weight manager和stream
      • 4.1.10.1.2. 模型输入输出tensor
    • 4.1.10.2. 获取后端
  • 4.1.11. 硬件特性
上一页 下一页

© 版权所有 2026, HOUMO.

利用 Sphinx 构建,使用的 主题 由 Read the Docs 开发.