用于 Transformer 基本组网结构矩阵乘性能测试。
python performance.py
参数配置如下:
--hidden-size
:模型隐层大小。默认为 1024。--ffn-inter-size
:FFN 中间隐层大小。默认为 None,表示使用hidden_size * 4
作为其值。--hidden-act
:FFN 中间激活函数类型也包括 FFN 组网类型。可设置为relu
,gelu
,silu
,gated-relu
,gated-gelu
,gated-silu
。默认为relu
。--head-num
:多头注意力机制中头的数目。默认为 16。--input-dtype
:输入的数据类型。目前支持bfloat16
,float16
,float32
,float64
。不支持int8
。默认为float32
。--max-sequence-length
:生成使用的最长输出长度。默认为 128。--input-sequence-length
:模拟的输入的长度。默认为 128。--fused-qkv
:是否将 qkv 的矩阵乘融合。--tensor-parallel-size
:tensor 并行的大小。不会跑多卡,会将设定的模型超参 size 进行切分后,在单卡上进行测试。默认为 1。--inference-model-dir
:输出 inference 模型的位置,一般可以不用设置。--device
:执行性能测试用的设备,即 inference config 所指定的设备。默认为 GPU。--use-mkl
:Inference 是否开启 MKL。--threads
:Inference 设置线程数。默认为 1。--batch-size
:性能测试使用的 batch size 大小。默认为 1。
性能数据输出结果为:
Performance:
Batch size: 1, input_sequence_length: 128, max_sequence_length: 128.
--------------------
The time of QKV with fused_qkv False is: 0.13480520186324915.
The time of q*k (without softmax) is: 0.023315586149692535.
The time of qk_weight * v is: 0.023320985751019582.
The time of ffn with hidden_act relu is: 0.20547565590176317.
The time of q*cached_k(sequence_length from 0 to 128) (without softmax) in decoding is: 11.440430050715804.
The time of qk_weight*cached_v(sequence_length from 0 to 128) in decoding is: 11.993675859024126.