asc_mmad_sparse
产品支持情况
- Ascend 950PR&950DT系列产品:不支持
- Atlas A3系列产品:支持
- Atlas A2系列产品:支持
- Atlas 200I/500 A2推理产品:不支持
- Atlas推理系列产品AI Core:不支持
- Atlas推理系列产品Vector Core:不支持
- Atlas训练系列产品:不支持
功能说明
头文件路径为:"c_api/cube_compute/cube_compute.h"。
完成矩阵乘加操作,传入的左矩阵A为稀疏矩阵,右矩阵B为稠密矩阵。对于矩阵A,在asc_mmad_sparse计算时完成稠密化;对于矩阵B,在计算执行前的输入数据准备时自行完成稠密化(按照下文中介绍的稠密算法进行稠密化)。稠密矩阵B需要通过asc_copy_l12l0b_sparse载入,同时加载索引矩阵,索引矩阵在矩阵B稠密化的过程中生成,再用于矩阵A的稠密化。
稀疏权重及索引矩阵的排布见辅助矩阵分形格式详解;从稀疏数据准备到矩阵乘加的流程见矩阵计算流程中的稀疏场景。
函数原型
C++
__aicore__ inline void asc_mmad_sparse(__cc__ int32_t* c, __ca__ int8_t* a, __cb__ int8_t* b, uint16_t m, uint16_t k, uint16_t n, asc_unit_flag_mode unit_flag_mode, bool c_matrix_source, bool c_matrix_init_val)
参数说明
表1 参数说明
| 参数名 | 输入/输出 | 描述 |
|---|---|---|
| c | 输出 | 目的操作数,结果矩阵C,起始地址需要1024字节对齐。 |
| a | 输入 | 源操作数,左矩阵A,起始地址需要512字节对齐。 |
| b | 输入 | 源操作数,右矩阵B,起始地址需要512字节对齐。 |
| m | 输入 | 左矩阵Height,取值范围:m∈[0,4095]。 |
| k | 输入 | 左矩阵Width、右矩阵Height,取值范围:k∈[0,4095]。 |
| n | 输入 | 右矩阵Width,取值范围:n∈[0,4095]。 |
| unit_flag_mode | 输入 | 用于控制矩阵乘加指令与矩阵搬出指令的细粒度并行,开启UnitFlag后,硬件每计算完一个分形,计算结果就会被搬出。取值说明如下: • asc_unit_flag_mode::DISABLE:不开启UnitFlag。• asc_unit_flag_mode::ENABLE_KEEP:开启UnitFlag,硬件执行完指令后不改变单元标志位。• asc_unit_flag_mode::ENABLE_UPDATE:开启UnitFlag,硬件执行完指令后改变单元标志位。 |
| c_matrix_source | 输入 | 配置C矩阵初始值是否来源于BiasTable Buffer(存放Bias的硬件缓存区)。取值说明如下: • true:来源于BiasTable Buffer。 • false:来源于L0C Buffer。 |
| c_matrix_init_val | 输入 | 配置C矩阵初始值是否为0。取值说明如下: • true:C矩阵初始值为0。 • false:C矩阵初始值通过c_matrix_source参数进行配置。 |
返回值说明
无
流水类型
PIPE_M
约束说明
- 原始稀疏矩阵B每4个元素中应保证最多2个非零元素,如果存在3个或更多非零元素,则仅使用前2个非零元素。
- 当m、k、n中的任意一个值为0时,该指令不会被执行。
稠密算法说明
假设原始稀疏矩阵B的每4个元素中至少有2个零,稠密化后的矩阵B是一个在每4个元素中过滤掉2个零的稠密矩阵。矩阵B稠密化的过程中生成索引矩阵,过程如下:对于稀疏矩阵B中的每4个元素,将在index矩阵中生成2个2位索引,并按照以下规则进行编码。索引必须在{0, 1, 2}范围内。
•第一个索引用于指示前3个元素中第1个非零元素的相对位置。
•第二个索引用于指示第2个非零元素在后3个元素中的相对位置。
具体可参考下表。其中,“-”表示算法不关心该位置上的值,因为其会被过滤。 表2 稠密算法说明
| 示例 | ele0 | ele1 | ele2 | ele3 | Index_a[i] | Index_b[i] |
| Two non-zero elements | 0 | 0 | X | Y | 2'b10 | 2'b10 |
| 0 | X | 0 | Y | 2'b01 | 2'b10 | |
| X | 0 | 0 | Y | 2'b00 | 2'b10 | |
| 0 | X | Y | - | 2'b01 | 2'b01 | |
| X | 0 | Y | - | 2'b00 | 2'b01 | |
| X | Y | - | - | 2'b00 | 2'b00 | |
| One non-zero element | 0 | 0 | 0 | X | 2'b00 | 2'b10 |
| 0 | 0 | X | 0 | 2'b10 | 2'b00 | |
| 0 | X | 0 | 0 | 2'b01 | 2'b00 | |
| X | 0 | 0 | 0 | 2'b00 | 2'b00 | |
| All zero | 0 | 0 | 0 | 0 | 2'b00 | 2'b00 |

调用示例
C++
constexpr uint32_t total_length = 128;
__ca__ int8_t a[total_length];
__cb__ int8_t b[total_length];
__cc__ int32_t c[total_length];
uint16_t m = 2;
uint16_t k = 2;
uint16_t n = 1;
asc_unit_flag_mode unit_flag_mode = asc_unit_flag_mode::ENABLE_KEEP;
bool c_matrix_source = true;
bool c_matrix_init_val = true;
asc_mmad_sparse(c, a, b, m, k, n, unit_flag_mode, c_matrix_source, c_matrix_init_val);