SetTensorScaleB

产品支持情况

• Ascend 950PR/Ascend 950DT：支持

• Atlas A3 训练系列产品/Atlas A3 推理系列产品：不支持

• Atlas A2 训练系列产品/Atlas A2 推理系列产品：不支持

• Atlas 200I/500 A2 推理产品：不支持

• Atlas 推理系列产品AI Core：不支持
• Atlas 推理系列产品Vector Core：不支持

• Atlas 训练系列产品：不支持

• Kirin X90：不支持

• Kirin 9030：不支持

功能说明

MxMatmul场景，设置矩阵乘中右矩阵的量化系数矩阵scaleB。

函数原型

Text

__aicore__ inline void SetTensorScaleB(const GlobalTensor<ScaleT>& gm, bool isTransposeScaleB = true);

Text

__aicore__ inline void SetTensorScaleB(const LocalTensor<ScaleT>& rightMatrix, bool isTransposeScaleB = true);

参数说明

表1 参数说明

参数名	输入/输出	描述
gm	输入	量化系数scaleB矩阵。类型为GlobalTensor。支持的数据类型为：fp8_e8m0_t。
rightMatrix	输入	量化系数scaleB矩阵。类型为LocalTensor，支持的TPosition为TSCM/VECOUT。支持的数据类型为：fp8_e8m0_t。
isTransposeScaleB	输入	scaleB矩阵是否需要转置。 参数支持的取值如下： false：scaleB矩阵不转置。true：默认值，scaleB矩阵转置。 注意： scaleB矩阵为NZ格式时，该参数只支持取值为true。 若scaleB矩阵的MatmulTypeWithScale参数中的SCALE_ISTRANS设置为true，除scaleB为NZ格式场景，该参数支持取值为true、false，即运行时scaleB矩阵可以转置和非转置交替使用。 若scaleB矩阵的MatmulTypeWithScale参数中的SCALE_ISTRANS设置为false，该参数只支持取值为false，若强行设置为true，精度会有异常； 对于有Bias输入的场景，为了确保Tiling侧与Kernel侧L1 Buffer空间计算大小保持一致及结果精度正确，该参数取值必须与Kernel侧定义B矩阵MatmulTypeWithScale的SCALE_ISTRANS参数以及Tiling侧SetScaleBType()接口的isScaleTrans参数保持一致，即有Bias输入的场景，上述三个参数必须同时设置为true或同时设置为false。

返回值说明

无

约束说明

• 传入的scaleB地址空间大小必须不小于singleCoreK*singleCoreN/32。
• 当开启MixDualMaster（双主模式）场景时，即模板参数enableMixDualMaster设置为true，不支持使用该接口。

调用示例

Text

REGIST_MATMUL_OBJ(&pipe, GetSysWorkSpacePtr(), mm, &tiling);
mm.SetTensorA(gm_a);
mm.SetTensorB(gm_b);
mm.SetTensorScaleA(gm_scaleA);
mm.SetTensorScaleB(gm_scaleB);    // 设置右矩阵的量化系数矩阵scaleB
if (tiling.isBias) {
    mm.SetBias(gmBias);
}
mm.IterateAll(gm_c);
mm.End();