4. 使用流程

后摩大道® M50 软件平台模型使用流程如下:

../_images/workflow.png

图 4.1 软件平台模型使用流程

4.1. 模型评估

模型评估过程主要将原始模型转换为可在后摩设备上运行的模型,并评估和调优模型的精度和性能,以满足业务的需求。如上图所示,整体流程如下:

  1. 准备原始模型。

  2. 模型量化。

  3. 模型编译。

  4. 模型推理。

  5. 性能评估。

  6. 精度评估。

4.1.1. 模型量化

模型量化是使用 后摩大道® M50 HMQuantool量化工具将原始浮点模型转化为定点的量化模型,在精度损失最小的前提下提高执行性能。量化后的模型数据格式完全适配 后摩漫界® M50 设备上的推理要求,从而实现高效部署和加速推理。

4.1.2. 模型编译

模型编译是通过 后摩大道® M50 TCIM Python接口,将量化后的模型编译为可在后摩设备上运行的模型。

4.1.3. 模型推理

模型编译完成后,通过TCIM C++接口或TCIM Python接口加载模型并执行模型推理,获取推理结果。

4.1.4. 性能评估

对于编译好的模型进行性能评估,以确定能否满足业务需求。可参看 ModelZoo模型库 提供的样例。

4.1.5. 精度评估

对于编译好的模型进行精度评估,以确定能否满足业务需求。精度评估一般分为以下步骤:

  1. 结果相似度评估:比较后摩设备上推理结果与原始模型推理结果的相似度,如果相似度较低,可以进一步进行逐层相似度比对,找到相似度开始变低的关键算子并进行分析。

  2. 算法精度评估:使用数据集测试后摩设备的推理结果精度,并与原始模型精度比较。如果精度不符合预期,同样需要按照上面的流程调整。

更多说明,可参看 ModelZoo模型库 提供的样例。

4.2. 应用实践

可参看 ModelZoo模型库获得网络模型的详细说明。