M50模型性能数据

本文档展示了LLM和VLM模型的资源占用、推理性能指标，以及Prefill和Decode阶段的吞吐率趋势图，便于模型性能评估与对比分析。

测试环境

本次LLM/VLM模型性能测试在以下环境下进行：

  • 软件平台环境：Ubuntu 24.04 LTS Docker 镜像，由后摩软件平台提供；

  • 处理器：Intel Core i7-12700 64 GB；

  • AI 加速卡：后摩 LQ50 M.2（单颗M50芯片）、后摩LQ50 Duo M.2 卡（两颗M50芯片）、LM5070智能加速卡（4颗M50芯片）；

  • IPU核频率： 1400 MHz

注：所有测试均在此环境下进行，结果仅适用于相同或相近硬件配置。不同硬件或系统环境可能会影响性能表现。

LLM/VLM模型性能指标

下面的表格展示了各LLM/VLM模型在不同运行条件下的推理性能指标，包括吞吐率和视觉FPS等，帮助对比模型在相同条件下的性能表现。

表中各字段含义如下：

  • Model: 模型名称，如 Qwen3、Qwen3-VL。

  • Size: 模型参数量，如 8B, 30B-A3B。

  • PrefillLen(k): Prefill阶段处理的输入token数量。

  • Ctx(k): 上下文长度（单位千 tokens）。

  • Batch: 模型推理的 batch 大小。

  • NChip: 使用的M50芯片数量。

  • Input(k): 输入token数（单位千 tokens）。

  • Output(k): 输出token数（单位千 tokens）。

  • Prefill(tps): 表示Prefill阶段，处理输入prompt时的吞吐速度，即每秒可以处理的token数。

  • Decode(tps): 表示Decode阶段生成输出序列的吞吐速度，即每秒生成的 token 数。

  • Vision(fps): 表示视觉任务阶段处理帧率，仅适用于VLM模型，即每秒处理的帧数。

  • Precision: 表示模型量化精度。

    • w4a8 表示量化后权重尾数位为4-bit，激活值尾数位为8-bit。

    • w8a8 表示量化后权重尾数位为8-bit，激活值尾数位为8-bit。

表 1 LLM/VLM模型性能指标表

Model

Size

PrefillLen(k)

Ctx(k)

Batch

NChip

Input(k)

Output(k)

Prefill(tps)

Decode(tps)

Vision(fps)

Precision

CoPaw-Flash

9B

0.25

8

1

1

0.25

0.05

1591.7

20.52

0

w4a8

CoPaw-Flash

9B

0.25

8

1

1

0.5

0.05

1590.53

20.46

0

w4a8

CoPaw-Flash

9B

0.25

8

1

1

1

0.05

1587.43

20.34

0

w4a8

CoPaw-Flash

9B

0.25

8

1

1

2

0.05

1576.49

20.22

0

w4a8

CoPaw-Flash

9B

0.25

8

1

1

4

0.05

1558.35

20.06

0

w4a8

CoPaw-Flash

9B

0.25

8

1

1

7.95

0.05

1514.2

19.95

0

w4a8

Gemma 4

26B-A4B

0.25

256

1

1

0.25

0.05

1224.4

27.1

1.55

w4a8

Gemma 4

26B-A4B

0.25

256

1

1

0.5

0.05

1216.67

26.86

1.56

w4a8

Gemma 4

26B-A4B

0.25

256

1

1

1

0.05

1212.92

25.93

1.55

w4a8

Gemma 4

26B-A4B

0.25

256

1

1

2

0.05

1283.11

23.68

1.56

w4a8

Gemma 4

26B-A4B

0.25

256

1

1

4

0.05

1326.3

23.21

1.55

w4a8

Gemma 4

26B-A4B

0.25

256

1

1

8

0.05

1294.82

22.3

1.55

w4a8

Gemma 4

26B-A4B

0.25

256

1

1

16

0.05

1253.83

20.7

1.56

w4a8

Gemma 4

26B-A4B

0.25

256

1

1

32

0.05

1198.93

18.07

1.55

w4a8

Gemma 4

26B-A4B

0.25

256

1

1

64

0.05

1073.57

14.45

1.55

w4a8

Gemma 4

26B-A4B

0.25

256

1

1

128

0.05

886.78

10.3

1.55

w4a8

Gemma 4

26B-A4B

0.25

256

1

1

255.95

0.05

653.87

6.58

1.55

w4a8

Gemma 4

26B-A4B

0.25

256

1

2

0.25

0.05

1776.03

36.25

1.56

w4a8

Gemma 4

26B-A4B

0.25

256

1

2

0.5

0.05

1729.6

36.37

1.56

w4a8

Gemma 4

26B-A4B

0.25

256

1

2

1

0.05

1684.25

36.04

1.56

w4a8

Gemma 4

26B-A4B

0.25

256

1

2

2

0.05

1853.08

33.49

1.55

w4a8

Gemma 4

26B-A4B

0.25

256

1

2

4

0.05

1965.54

32.49

1.55

w4a8

Gemma 4

26B-A4B

0.25

256

1

2

8

0.05

1948.2

30.58

1.55

w4a8

Gemma 4

26B-A4B

0.25

256

1

2

16

0.05

1889.13

27.61

1.55

w4a8

Gemma 4

26B-A4B

0.25

256

1

2

32

0.05

1852.21

22.98

1.56

w4a8

Gemma 4

26B-A4B

0.25

256

1

2

64

0.05

1704.79

17.36

1.56

w4a8

Gemma 4

26B-A4B

0.25

256

1

2

128

0.05

1457.78

11.68

1.55

w4a8

Gemma 4

26B-A4B

0.25

256

1

2

255.95

0.05

1129.26

7.09

1.56

w4a8

Gemma 4

31B

0.25

256

1

2

0.25

0.05

704.43

10.38

1.54

w4a8

Gemma 4

31B

0.25

256

1

2

0.5

0.05

703.09

10.33

1.54

w4a8

Gemma 4

31B

0.25

256

1

2

1

0.05

700

10.13

1.54

w4a8

Gemma 4

31B

0.25

256

1

2

2

0.05

776.31

9.4

1.54

w4a8

Gemma 4

31B

0.25

256

1

2

4

0.05

817.43

9.25

1.54

w4a8

Gemma 4

31B

0.25

256

1

2

8

0.05

795.12

8.95

1.54

w4a8

Gemma 4

31B

0.25

256

1

2

16

0.05

760.89

8.41

1.54

w4a8

Gemma 4

31B

0.25

256

1

2

32

0.05

711.47

7.52

1.54

w4a8

Gemma 4

31B

0.25

256

1

2

64

0.05

624.14

6.19

1.54

w4a8

Gemma 4

31B

0.25

256

1

2

128

0.05

497.57

4.58

1.54

w4a8

Gemma 4

31B

0.25

256

1

2

255.95

0.05

354.01

3.02

1.54

w4a8

Gemma 4

31B

0.25

256

1

4

0.25

0.05

945.62

15.26

1.55

w4a8

Gemma 4

31B

0.25

256

1

4

0.5

0.05

944.45

15.2

1.55

w4a8

Gemma 4

31B

0.25

256

1

4

1

0.05

942.21

15.09

1.55

w4a8

Gemma 4

31B

0.25

256

1

4

2

0.05

1058.54

14.21

1.55

w4a8

Gemma 4

31B

0.25

256

1

4

4

0.05

1123.58

13.83

1.55

w4a8

Gemma 4

31B

0.25

256

1

4

8

0.05

1103.18

13.16

1.55

w4a8

Gemma 4

31B

0.25

256

1

4

16

0.05

1069.2

12.05

1.55

w4a8

Gemma 4

31B

0.25

256

1

4

32

0.05

1022.55

10.28

1.55

w4a8

Gemma 4

31B

0.25

256

1

4

64

0.05

930.22

7.95

1.55

w4a8

Gemma 4

31B

0.25

256

1

4

128

0.05

781.96

5.48

1.55

w4a8

Gemma 4

31B

0.25

256

1

4

255.95

0.05

594.08

3.4

1.55

w4a8

Gemma 4

e2b

0.25

128

1

1

0.25

0.05

4465.03

50.81

2.82

w4a8

Gemma 4

e2b

0.25

128

1

1

0.5

0.05

4449.24

50.88

2.82

w4a8

Gemma 4

e2b

0.25

128

1

1

1

0.05

4400.1

48.07

2.82

w4a8

Gemma 4

e2b

0.25

128

1

1

2

0.05

4903.88

46.55

2.81

w4a8

Gemma 4

e2b

0.25

128

1

1

4

0.05

5085.29

44.08

2.82

w4a8

Gemma 4

e2b

0.25

128

1

1

8

0.05

4764.95

39.55

2.82

w4a8

Gemma 4

e2b

0.25

128

1

1

16

0.05

4237.77

33.04

2.82

w4a8

Gemma 4

e2b

0.25

128

1

1

32

0.05

3518.69

24.89

2.82

w4a8

Gemma 4

e2b

0.25

128

1

1

64

0.05

2610.81

16.67

2.82

w4a8

Gemma 4

e2b

0.25

128

1

1

127.95

0.05

1711.1

10.13

2.81

w4a8

Gemma 4

e4b

0.25

128

1

1

0.25

0.05

2596.04

27.7

2.83

w4a8

Gemma 4

e4b

0.25

128

1

1

0.5

0.05

2591.94

27.9

2.83

w4a8

Gemma 4

e4b

0.25

128

1

1

1

0.05

2563.47

26.88

2.83

w4a8

Gemma 4

e4b

0.25

128

1

1

2

0.05

2873.17

26.44

2.83

w4a8

Gemma 4

e4b

0.25

128

1

1

4

0.05

3009.21

25.53

2.83

w4a8

Gemma 4

e4b

0.25

128

1

1

8

0.05

2864.65

24.03

2.83

w4a8

Gemma 4

e4b

0.25

128

1

1

16

0.05

2616.75

21.49

2.83

w4a8

Gemma 4

e4b

0.25

128

1

1

32

0.05

2261.17

17.72

2.83

w4a8

Gemma 4

e4b

0.25

128

1

1

64

0.05

1764.28

13.16

2.83

w4a8

Gemma 4

e4b

0.25

128

1

1

127.95

0.05

1216.96

8.75

2.83

w4a8

GPT-OSS

120B

0.25

128

1

2

0.25

0.05

899.08

32.06

0

w4a8

GPT-OSS

120B

0.25

128

1

2

0.5

0.05

985.65

30.44

0

w4a8

GPT-OSS

120B

0.25

128

1

2

1

0.05

1117.31

29.35

0

w4a8

GPT-OSS

120B

0.25

128

1

2

2

0.05

1103.99

28.49

0

w4a8

GPT-OSS

120B

0.25

128

1

2

4

0.05

1154.34

26.71

0

w4a8

GPT-OSS

120B

0.25

128

1

2

8

0.05

1131.23

24.06

0

w4a8

GPT-OSS

120B

0.25

128

1

2

16

0.05

987.3

19.94

0

w4a8

GPT-OSS

120B

0.25

128

1

2

32

0.05

815.17

14.99

0

w4a8

GPT-OSS

120B

0.25

128

1

2

64

0.05

594.8

9.99

0

w4a8

GPT-OSS

120B

0.25

128

1

2

127.95

0.05

396.21

6.02

0

w4a8

GPT-OSS

20B

0.25

256

1

1

0.25

0.05

2905.77

37.11

0

w4a8

GPT-OSS

20B

0.25

256

1

1

0.5

0.05

2368.84

35.56

0

w4a8

GPT-OSS

20B

0.25

256

1

1

1

0.05

2166.55

34.1

0

w4a8

GPT-OSS

20B

0.25

256

1

1

2

0.05

1972.37

32.67

0

w4a8

GPT-OSS

20B

0.25

256

1

1

4

0.05

1801.18

30.14

0

w4a8

GPT-OSS

20B

0.25

256

1

1

8

0.05

1576.45

26.22

0

w4a8

GPT-OSS

20B

0.25

256

1

1

16

0.05

1272.78

20.8

0

w4a8

GPT-OSS

20B

0.25

256

1

1

32

0.05

926.31

14.74

0

w4a8

GPT-OSS

20B

0.25

256

1

1

64

0.05

601.35

9.32

0

w4a8

GPT-OSS

20B

0.25

256

1

1

128

0.05

353.12

5.37

0

w4a8

GPT-OSS

20B

0.25

256

1

1

255.95

0.05

193.43

2.91

0

w4a8

Qwen3-next

80B-A3B

0.25

256

1

2

0.25

0.05

622.34

23.4

0

w4a8

Qwen3-next

80B-A3B

0.25

256

1

2

0.5

0.05

623.81

23.3

0

w4a8

Qwen3-next

80B-A3B

0.25

256

1

2

1

0.05

624.73

23.1

0

w4a8

Qwen3-next

80B-A3B

0.25

256

1

2

2

0.05

626.15

22.9

0

w4a8

Qwen3-next

80B-A3B

0.25

256

1

2

4

0.05

628.82

22.68

0

w4a8

Qwen3-next

80B-A3B

0.25

256

1

2

8

0.05

627.11

22.16

0

w4a8

Qwen3-next

80B-A3B

0.25

256

1

2

16

0.05

616.78

21.42

0

w4a8

Qwen3-next

80B-A3B

0.25

256

1

2

32

0.05

599.05

19.99

0

w4a8

Qwen3-next

80B-A3B

0.25

256

1

2

64

0.05

568.43

17.68

0

w4a8

Qwen3-next

80B-A3B

0.25

256

1

2

128

0.05

517.09

14.33

0

w4a8

Qwen3-next

80B-A3B

0.25

256

1

2

255.95

0.05

438.27

10.48

0

w4a8

Qwen3.5

0.8B

0.25

256

1

1

0.25

0.05

4442.74

87.79

2.56

w8a16

Qwen3.5

0.8B

0.25

256

1

1

0.5

0.05

4447.88

82.41

2.56

w8a16

Qwen3.5

0.8B

0.25

256

1

1

1

0.05

4386.89

78.32

2.56

w8a16

Qwen3.5

0.8B

0.25

256

1

1

2

0.05

4305.59

72.59

2.56

w8a16

Qwen3.5

0.8B

0.25

256

1

1

4

0.05

4159.11

63.08

2.56

w8a16

Qwen3.5

0.8B

0.25

256

1

1

8

0.05

3903.39

50.01

2.56

w8a16

Qwen3.5

0.8B

0.25

256

1

1

16

0.05

3474.99

35.39

2.56

w8a16

Qwen3.5

0.8B

0.25

256

1

1

32

0.05

2855.1

22.35

2.56

w8a16

Qwen3.5

0.8B

0.25

256

1

1

64

0.05

2104.15

12.91

2.56

w8a16

Qwen3.5

0.8B

0.25

256

1

1

128

0.05

1379.25

7

2.56

w8a16

Qwen3.5

0.8B

0.25

256

1

1

255.95

0.05

816.68

3.67

2.56

w8a16

Qwen3.5

2B

0.25

256

1

1

0.25

0.05

3436.96

48.55

0.92

w8a16

Qwen3.5

2B

0.25

256

1

1

0.5

0.05

3430.93

46.73

0.92

w8a16

Qwen3.5

2B

0.25

256

1

1

1

0.05

3405.65

45.38

0.92

w8a16

Qwen3.5

2B

0.25

256

1

1

2

0.05

3359

43.36

0.92

w8a16

Qwen3.5

2B

0.25

256

1

1

4

0.05

3269.47

39.84

0.92

w8a16

Qwen3.5

2B

0.25

256

1

1

8

0.05

3110.3

34.21

0.92

w8a16

Qwen3.5

2B

0.25

256

1

1

16

0.05

2831.58

26.59

0.92

w8a16

Qwen3.5

2B

0.25

256

1

1

32

0.05

2405.21

18.42

0.92

w8a16

Qwen3.5

2B

0.25

256

1

1

64

0.05

1848.52

11.43

0.92

w8a16

Qwen3.5

2B

0.25

256

1

1

128

0.05

1264.58

6.51

0.92

w8a16

Qwen3.5

2B

0.25

256

1

1

255.95

0.05

774.83

3.51

0.92

w8a16

Qwen3.5

4B

0.25

256

1

1

0.25

0.05

2083.79

29.72

1.54

w4a8

Qwen3.5

4B

0.25

256

1

1

0.5

0.05

2082.47

29.52

1.54

w4a8

Qwen3.5

4B

0.25

256

1

1

1

0.05

2078.22

29.28

1.54

w4a8

Qwen3.5

4B

0.25

256

1

1

2

0.05

2062.1

28.96

1.54

w4a8

Qwen3.5

4B

0.25

256

1

1

4

0.05

2030.18

28.45

1.54

w4a8

Qwen3.5

4B

0.25

256

1

1

8

0.05

1970.92

27.61

1.54

w4a8

Qwen3.5

4B

0.25

256

1

1

16

0.05

1863.96

26.04

1.54

w4a8

Qwen3.5

4B

0.25

256

1

1

32

0.05

1682.89

23.48

1.54

w4a8

Qwen3.5

4B

0.25

256

1

1

64

0.05

1410.51

19.69

1.54

w4a8

Qwen3.5

4B

0.25

256

1

1

128

0.05

1066.59

14.99

1.54

w4a8

Qwen3.5

4B

0.25

256

1

1

255.95

0.05

717.34

10.29

1.54

w4a8

Qwen3.5

9B

0.25

256

1

1

0.25

0.05

1657.29

20.01

1.18

w4a8

Qwen3.5

9B

0.25

256

1

1

0.5

0.05

1653.44

19.97

1.18

w4a8

Qwen3.5

9B

0.25

256

1

1

1

0.05

1651.42

19.81

1.18

w4a8

Qwen3.5

9B

0.25

256

1

1

2

0.05

1641.03

19.66

1.18

w4a8

Qwen3.5

9B

0.25

256

1

1

4

0.05

1621.54

19.46

1.18

w4a8

Qwen3.5

9B

0.25

256

1

1

8

0.05

1583.13

19.04

1.18

w4a8

Qwen3.5

9B

0.25

256

1

1

16

0.05

1513.9

18.31

1.18

w4a8

Qwen3.5

9B

0.25

256

1

1

32

0.05

1391.98

16.99

1.18

w4a8

Qwen3.5

9B

0.25

256

1

1

64

0.05

1200.45

14.96

1.18

w4a8

Qwen3.5

9B

0.25

256

1

1

128

0.05

942.03

12.11

1.18

w4a8

Qwen3.5

9B

0.25

256

1

1

255.95

0.05

658.66

8.82

1.18

w4a8

Qwen3.6

27B

0.25

128

1

1

0.25

0.05

556.46

6.67

1.18

w4a8

Qwen3.6

27B

0.25

128

1

1

0.5

0.05

556.49

6.66

1.18

w4a8

Qwen3.6

27B

0.25

128

1

1

1

0.05

555.64

6.63

1.18

w4a8

Qwen3.6

27B

0.25

128

1

1

2

0.05

551.86

6.6

1.18

w4a8

Qwen3.6

27B

0.25

128

1

1

4

0.05

544.76

6.56

1.18

w4a8

Qwen3.6

27B

0.25

128

1

1

8

0.05

531.22

6.47

1.18

w4a8

Qwen3.6

27B

0.25

128

1

1

16

0.05

506.31

6.32

1.18

w4a8

Qwen3.6

27B

0.25

128

1

1

32

0.05

463.05

6.07

1.18

w4a8

Qwen3.6

27B

0.25

128

1

1

64

0.05

395.42

5.61

1.18

w4a8

Qwen3.6

27B

0.25

128

1

1

127.95

0.05

305.91

4.87

1.18

w4a8

Qwen3.6

27B

0.25

256

1

2

0.25

0.05

821.39

12.19

1.18

w4a8

Qwen3.6

27B

0.25

256

1

2

0.5

0.05

821.6

12.18

1.18

w4a8

Qwen3.6

27B

0.25

256

1

2

1

0.05

820.5

12.06

1.18

w4a8

Qwen3.6

27B

0.25

256

1

2

2

0.05

816.54

12.01

1.18

w4a8

Qwen3.6

27B

0.25

256

1

2

4

0.05

808.05

11.94

1.18

w4a8

Qwen3.6

27B

0.25

256

1

2

8

0.05

792.9

11.75

1.18

w4a8

Qwen3.6

27B

0.25

256

1

2

16

0.05

764.32

11.42

1.18

w4a8

Qwen3.6

27B

0.25

256

1

2

32

0.05

713.03

10.84

1.18

w4a8

Qwen3.6

27B

0.25

256

1

2

64

0.05

628.43

9.81

1.18

w4a8

Qwen3.6

27B

0.25

256

1

2

128

0.05

507.72

8.25

1.18

w4a8

Qwen3.6

27B

0.25

256

1

2

255.95

0.05

366.84

6.29

1.18

w4a8

Qwen3.6

27B

0.25

256

1

4

0.25

0.05

1043.4

19.5

1.18

w4a8

Qwen3.6

27B

0.25

256

1

4

0.5

0.05

1044.94

19.41

1.18

w4a8

Qwen3.6

27B

0.25

256

1

4

1

0.05

1042.41

19.12

1.18

w4a8

Qwen3.6

27B

0.25

256

1

4

2

0.05

1039.26

18.94

1.18

w4a8

Qwen3.6

27B

0.25

256

1

4

4

0.05

1032.77

18.75

1.18

w4a8

Qwen3.6

27B

0.25

256

1

4

8

0.05

1018.72

18.41

1.18

w4a8

Qwen3.6

27B

0.25

256

1

4

16

0.05

993.05

17.63

1.18

w4a8

Qwen3.6

27B

0.25

256

1

4

32

0.05

946.21

16.32

1.18

w4a8

Qwen3.6

27B

0.25

256

1

4

64

0.05

864.55

14.21

1.18

w4a8

Qwen3.6

27B

0.25

256

1

4

128

0.05

737.68

11.33

1.18

w4a8

Qwen3.6

27B

0.25

256

1

4

255.95

0.05

572

8.17

1.18

w4a8

Qwen3.6

35B-A3B

0.25

256

1

1

0.25

0.05

783.99

28.99

1.18

w4a8

Qwen3.6

35B-A3B

0.25

256

1

1

0.5

0.05

781.09

29.01

1.18

w4a8

Qwen3.6

35B-A3B

0.25

256

1

1

1

0.05

779.22

28.5

1.18

w4a8

Qwen3.6

35B-A3B

0.25

256

1

1

2

0.05

776.64

28.34

1.18

w4a8

Qwen3.6

35B-A3B

0.25

256

1

1

4

0.05

766.85

27.96

1.18

w4a8

Qwen3.6

35B-A3B

0.25

256

1

1

8

0.05

756.55

27.46

1.18

w4a8

Qwen3.6

35B-A3B

0.25

256

1

1

16

0.05

737.95

26.47

1.18

w4a8

Qwen3.6

35B-A3B

0.25

256

1

1

32

0.05

705.46

24.7

1.18

w4a8

Qwen3.6

35B-A3B

0.25

256

1

1

64

0.05

652.97

21.79

1.18

w4a8

Qwen3.6

35B-A3B

0.25

256

1

1

128

0.05

568.91

17.68

1.18

w4a8

Qwen3.6

35B-A3B

0.25

256

1

1

255.95

0.05

449.44

12.95

1.18

w4a8

Qwen3.6

35B-A3B

0.25

256

1

1

0.25

0.05

775.24

28.65

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

1

0.5

0.05

763.49

28.62

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

1

1

0.05

767.05

28.18

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

1

2

0.05

764.62

27.96

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

1

4

0.05

756.41

27.52

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

1

8

0.05

745.19

26.8

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

1

16

0.05

725.79

25.47

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

1

32

0.05

692.51

23.2

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

1

64

0.05

643.39

19.71

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

1

128

0.05

563.3

15.2

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

1

255.95

0.05

447.43

10.47

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

2

0.25

0.05

1068.34

39.29

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

2

0.5

0.05

1068.38

38.95

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

2

1

0.05

1060.01

38.16

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

2

2

0.05

1061.17

37.9

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

2

4

0.05

1052.69

37.04

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

2

8

0.05

1040.01

36.12

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

2

16

0.05

1022.5

34.62

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

2

32

0.05

984.86

31.47

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

2

64

0.05

927.56

26.5

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

2

128

0.05

831.14

20.42

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

2

255.95

0.05

683.79

14.08

1.18

w5a8

Qwen3.6

35B-A3B

0.25

256

1

2

0.25

0.05

1071.65

39.02

1.18

w8a8

Qwen3.6

35B-A3B

0.25

256

1

2

0.5

0.05

1072.62

38.96

1.18

w8a8

Qwen3.6

35B-A3B

0.25

256

1

2

1

0.05

1071.81

38.19

1.18

w8a8

Qwen3.6

35B-A3B

0.25

256

1

2

2

0.05

1059.03

37.88

1.18

w8a8

Qwen3.6

35B-A3B

0.25

256

1

2

4

0.05

1053.48

37.2

1.18

w8a8

Qwen3.6

35B-A3B

0.25

256

1

2

8

0.05

1041.37

36.32

1.18

w8a8

Qwen3.6

35B-A3B

0.25

256

1

2

16

0.05

1019.34

34.45

1.18

w8a8

Qwen3.6

35B-A3B

0.25

256

1

2

32

0.05

984.35

31.48

1.18

w8a8

Qwen3.6

35B-A3B

0.25

256

1

2

64

0.05

927.12

26.53

1.18

w8a8

Qwen3.6

35B-A3B

0.25

256

1

2

128

0.05

829.96

20.39

1.18

w8a8

Qwen3.6

35B-A3B

0.25

256

1

2

255.95

0.05

683.68

14.07

1.18

w8a8

LLM/VLM模型内存占用

下面的表格展示了各LLM/VLM模型在不同运行条件下的资源占用情况，包括输入输出规模、主机内存和设备内存。

表中各字段含义如下：

  • Model: 模型名称，如 Qwen3、Qwen3-VL。

  • Size: 模型参数量，如 8B, 30B-A3B。

  • Ctx(k): 上下文长度（单位千 tokens）。

  • Batch: 模型推理的 batch 大小。

  • NChip: 使用的M50芯片数量。

  • HostMem(MB): 主机内存占用量（MB）。

  • DeviceMem(MB): M50设备内存占用量（MB）。

  • HostPeak(MB): 推理过程中主机内存峰值占用（MB）。

  • KVCache(MB): 用于缓存推理过程中Attention的Key/Value张量（MB）。

  • Prefill(ms): Prefill模型加载时间（毫秒）。

  • Decode(ms): Decode模型加载时间（毫秒）。

  • Vision(ms): VLM模型加载时间（毫秒）。

  • Precision: 表示模型量化精度。

特别说明

表中主机内存占用量为模型运行过程中的内存使用情况，包括模型加载、主机运行 embedding 计算所需内存，以及系统为达到最佳性能自动分配的共享缓存。模型性能测试过程中调用 Module::Option::EnableHostLazyLoading （C++ API）或 tcim_lite.runtime.Option.enable_host_lazy_loading （Python API），用于在模型加载阶段延迟分配和初始化主机端缓冲区，以降低模型加载阶段的峰值内存和加载完成后的平均内存占用。

内存占用为当前测试环境下，在保证加载速度和推理性能的前提下的实际使用值。模型运行所需的最小内存通常低于该数值，特别是调用 Module::Option::EnableIOLazyMode （C++ API）或 tcim_lite.runtime.Option.enable_io_lazy_mode （Python API）后，可有效降低加载阶段的峰值内存，但在内存不足的情况下，可能会导致模型加载时间显著增加。

表 2 LLM/VLM模型资源占用表

Model

Size

Ctx(k)

Batch

NChip

HostMem(MB)

DeviceMem(MB)

HostPeak(MB)

KVCache(MB)

Prefill(ms)

Decode(ms)

Vision(ms)

Precision

CoPaw-Flash

9B

8

1

1

2017.28

5118

5621.76

153.5

2144.28

165.9

-

w4a8

Gemma 4

26B-A4B

256

1

1

1474.56

17713

14161.92

2756.88

4608.39

116.52

400.19

w4a8

Gemma 4

26B-A4B

256

1

2

1515.52

9484

14602.24

2756.88

6667.85

108.15

547.15

w4a8

Gemma 4

31B

256

1

2

2775.04

15627

18094.08

5513.75

11161.37

872.38

587.58

w4a8

Gemma 4

31B

256

1

4

2775.04

8269

18892.8

2756.88

13071.72

788.34

382.76

w4a8

Gemma 4

e2b

128

1

1

839.68

2388

1853.44

391.31

677.12

78.73

150.93

w4a8

Gemma 4

e4b

128

1

1

1361.92

4840

3164.16

1048.38

1245.14

176.36

145.96

w4a8

GPT-OSS

120B

128

1

2

1167.36

30077

55511.04

2314.12

60802.36

135.06

-

w4a8

GPT-OSS

20B

256

1

1

1157.12

13547

10465.28

3078.75

4016.85

57.65

-

w4a8

Qwen3-next

80B-A3B

256

1

2

686.08

23358

43622.4

3110.25

21867.19

422.4

-

w4a8

Qwen3.5

0.8B

256

1

1

563.2

4762

563.2

3081.84

495.99

130.29

429.15

w8a16

Qwen3.5

2B

256

1

1

1054.72

6660

2273.28

3081.84

800.7

102

1061.17

w8a16

Qwen3.5

4B

256

1

1

1310.72

8381

3112.96

4121.5

1234.76

244.21

726.75

w4a8

Qwen3.5

9B

256

1

1

2037.76

11223

5396.48

4121.5

1965.79

228.53

1288.86

w4a8

Qwen3.6

27B

128

1

1

2580.48

22068

15974.4

4171.75

6324.93

832.23

1325.82

w4a8

Qwen3.6

27B

256

1

2

2580.48

14116

16629.76

4133.875

7657.96

1085.01

1341.73

w4a8

Qwen3.6

27B

256

1

4

2580.48

8074

17674.24

2066.9375

11939.9

912.4

1342.66

w4a8

Qwen3.6

35B-A3B

256

1

1

1075.2

23347

19138.56

2591.88

9769.62

131.43

1367.51

w4a8

Qwen3.6

35B-A3B

256

1

2

1075.2

15258

22947.84

2591.88

10071.95

980.5

1351.12

w5a8

ASR/TTS模型性能指标

下面的表格展示了各 ASR/TTS 模型在不同运行条件下的推理性能指标，包括解码速度、实时率和首个输出token时间，帮助对比模型在相同条件下的语音识别、语音生成或强制对齐任务性能表现。

表中各字段含义如下：

  • Model: 模型名称。

  • Size: 模型参数量，如 8B, 30B-A3B。

  • TTFT: Time To First Token，首字生成时间，单位为（毫秒）。

  • DeviceMem(MB): M50设备内存占用量（MB）。

  • Decode Speed(tokens/s): 表示 Decode 阶段生成输出 token 的速度，即每秒生成的 token 数，单位为（tokens/s）。

  • RTF: Real-Time Factor，实时率，是语音信号处理领域中最核心的效率/速度指标。公式如下：

    \text{RTF} = \frac{T_{\text{proc}}}{T_{\text{audio}}}

    其中：

    • \text{RTF}：实时率。

    • T_{\text{proc}}：音频处理耗时。

    • T_{\text{audio}}：音频实际时长。

表 3 ASR/TTS模型性能指标表

Model

Size

RTF

Decode Speed(tokens/s)

DeviceMem(MB)

TTFT(ms)

GLM-ASR

Nano-2512

0.0462

59.06

2769

347.89

Qwen3-ASR

0.6B

0.0245

99.08

1107

49.91

Qwen3-ASR

1.7B

0.0433

53.12

2344

65.23