后摩大道^® M50 模型性能评测工具用户指南

目录

• 1. 更新历史
• 2. 模型推理性能评测工具
  • 2.1. 简介
  • 2.2. 环境准备
    • 2.2.1. 环境依赖
    • 2.2.2. 运行环境
    • 2.2.3. Linux环境准备
    • 2.2.4. Android环境准备
    • 2.2.5. Windows环境准备
  • 2.3. 指令说明
    • 2.3.1. 使用示例
  • 2.4. 性能指标说明
    • 2.4.1. 延迟时间
    • 2.4.2. 吞吐量
• 3. LLM推理性能评测工具
  • 3.1. 简介
    • 3.1.1. 性能说明
    • 3.1.2. 模型列表
  • 3.2. 环境准备
    • 3.2.1. 环境依赖
    • 3.2.2. 运行环境
    • 3.2.3. Linux环境准备
    • 3.2.4. Windows环境准备
    • 3.2.5. Android环境准备
  • 3.3. 指令说明
    • 3.3.1. 配置说明
  • 3.4. 使用示例
    • 3.4.1. 评测单个模型的推理性能
    • 3.4.2. 评测多个模型的推理性能
  • 3.5. 性能指标说明
    • 3.5.1. 总体性能指标说明
    • 3.5.2. Prefill Total Time
    • 3.5.3. Decode Total Time
    • 3.5.4. Prefill Speed
    • 3.5.5. Decode Speed
    • 3.5.6. TTFT
    • 3.5.7. TPOT
    • 3.5.8. 端到端延迟
    • 3.5.9. 端到端TPS
    • 3.5.10. Embedding Time
  • 3.6. Embedding模型转换
  • 3.7. 常见问题解答
• 版权声明