6.6. LLM样例

• 6.6.1. 样例介绍
  • 6.6.1.1. 特别说明
• 6.6.2. Qwen3模型样例运行
  • 6.6.2.1. 模型推理验证
  • 6.6.2.2. 完整开发流程：从开源模型到设备推理
    • 6.6.2.2.1. 软硬件环境要求
    • 6.6.2.2.2. 开发流程
    • 6.6.2.2.3. 准备量化和编译开发环境
    • 6.6.2.2.4. 下载Qwen3-8B模型
    • 6.6.2.2.5. 量化模型
    • 6.6.2.2.6. 编译模型
• 6.6.3. 性能评测指标
  • 6.6.3.1. 背景知识
  • 6.6.3.2. 评测指标
  • 6.6.3.3. 首Token延迟及TPS
  • 6.6.3.4. 每个输出token的延迟及TPS
  • 6.6.3.5. 端到端延迟及TPS