3. 模型支持列表

该版本支持的模型列表如下:

3.1. 模型功能支持列表

表 3.1 模型功能支持列表

模型类型

模型名

量化

编译

示例包

备注

ASR

FireRedASR

X

ASR

GLM-ASR-Nano-2512

ASR

Qwen3-ASR

ASR

Whisper-large-v3-turbo-0.8B

ASR

Whisper-medium

Autonomous Driving

YOLOP

Backbone

EfficientNet

Backbone

MobileNetV2

Backbone

MobileNetV3

X

Backbone

ResNet50

Backbone

ViT-Base

Backbone

YOLOv8m-cls

Object Detection

LPRNet

Object Detection

YOLOv11m

Object Detection

YOLOv12m

Object Detection

YOLOv26

Object Detection

YOLOv10m

Object Detection

YOLOv3

Object Detection

YOLOv5m-face

Object Detection

YOLOv5s

Object Detection

YOLOv7

Object Detection

YOLOv8m

Object Detection

YOLOv9m

Object Detection

YOLOX

Embedding

BGE

Embedding

GTE-Qwen2-1.5B

Embedding

Qwen3 Embedding 4B

Pose Estimation

YOLOv8m-pose

LLM

CoPaw-Flash-9B

LLM

CPM-9g-8B

X

LLM

DeepSeek-8B

LLM

GLM4.7-flash

X

LLM

GPT-OSS-20B-A3B

LLM

Hunyuan-80B-A13B

X

LLM

Kimi-VL-16B-A3B

X

LLM

Qwen2.5-7B

LLM

Qwen3-14B

LLM

Qwen3-30B-A3B

LLM

Qwen3-32B

LLM

Qwen3-8B

LLM

Qwen3.5-9B/4B/2B

9b支持MTP演示,MTP暂不支持用户量化

LLM

Qwen3.5/3.6-27B

支持MTP演示,MTP暂不支持用户量化

LLM

Qwen3.5/3.6-35B-A3B

MLLM

MiniCPM-O-2_6

MLLM

Qwen3-Omni

X

OCR

GLM-OCR

OCR

PP-OCRv3

OCR

PP-OCRv5

X

Segmentation

YOLOv8m-seg

TTS

CosyVoice3-0.5B

TTS

F5-TTS

X

VLA

OpenVLA

X

VLA

Pi0.5

X

VLA

SmolVLA

X

VLA

SpiritV1.5

X

VLA

x-VLA

X

VLM

Gemma4-26B-A4B

VLM

Grounding-DINO

X

VLM

Qwen2.5-VL-7B

VLM

Qwen3-VL-2B/4B/8B

VLM

Qwen3-VL-30B-A3B

3.2. 模型推理能力适配表

说明:

  • 表中 “支持1芯”、“支持2芯”、 “支持4芯” 表示软件层面适配的算力规格,即后摩M50芯片数,而非硬件产品物理固有的芯片搭载数量。

  • :表示支持。

  • X :表示不支持。

  • :表示当前版本未完成适配验证。

表 3.2 模型推理能力适配表

模型类型

模型名

支持1芯

支持2芯

支持4芯

支持多batch

ASR

FireRedASR

ASR

GLM-ASR-Nano-2512

ASR

Qwen3-ASR

ASR

Whisper-large-v3-turbo-0.8B

ASR

Whisper-medium

Autonomous Driving

YOLOP

Backbone

EfficientNet

Backbone

MobileNetV2

Backbone

MobileNetV3

Backbone

ResNet50

Backbone

ViT-Base

Backbone

YOLOv8m-cls

Object Detection

LPRNet

Object Detection

YOLOv11m

Object Detection

YOLOv12m

Object Detection

YOLOv26

Object Detection

YOLOv10m

Object Detection

YOLOv3

Object Detection

YOLOv5m-face

Object Detection

YOLOv5s

Object Detection

YOLOv7

Object Detection

YOLOv8m

Object Detection

YOLOv9m

Object Detection

YOLOX

Embedding

BGE

Embedding

GTE-Qwen2-1.5B

Embedding

Qwen3 Embedding 4B

Pose Estimation

YOLOv8m-pose

LLM

CoPaw-Flash-9B

LLM

CPM-9g-8B

LLM

DeepSeek-8B

LLM

GLM4.7-flash

LLM

GPT-OSS-20B-A3B

LLM

Hunyuan-80B-A13B

X

LLM

Kimi-VL-16B-A3B

LLM

Qwen2.5-7B

LLM

Qwen3-14B

LLM

Qwen3-30B-A3B

LLM

Qwen3-32B

X

LLM

Qwen3-8B

LLM

Qwen3.5-9B/4B/2B

X

LLM

Qwen3.5/3.6-27B

X

LLM

Qwen3.5/3.6-35B-A3B

X

MLLM

MiniCPM-O-2_6

MLLM

Qwen3-Omni

OCR

GLM-OCR

OCR

PP-OCRv3

OCR

PP-OCRv5

Segmentation

YOLOv8m-seg

TTS

CosyVoice3-0.5B

TTS

F5-TTS

VLA

OpenVLA

VLA

Pi0.5

VLA

SmolVLA

VLA

SpiritV1.5

VLA

x-VLA

VLM

Gemma4-26B-A4B

VLM

Grounding-DINO

VLM

Qwen2.5-VL-7B

VLM

Qwen3-VL-2B/4B/8B

VLM

Qwen3-VL-30B-A3B