Skip to content

SetBias

产品支持情况

  • Ascend 950PR/Ascend 950DT:支持
  • Atlas A3 训练系列产品/Atlas A3 推理系列产品:支持
  • Atlas A2 训练系列产品/Atlas A2 推理系列产品:支持
  • Atlas 200I/500 A2 推理产品:支持
  • Atlas 推理系列产品AI Core:支持
  • Atlas 推理系列产品Vector Core:不支持
  • Atlas 训练系列产品:不支持
  • Kirin X90:支持

功能说明

设置矩阵乘的Bias。

函数原型

Text
__aicore__ inline void SetBias(const GlobalTensor<BiasT>& biasGlobal)
Text
__aicore__ inline void SetBias(const LocalTensor<BiasT>& inputBias)

参数说明

表1 参数说明

参数名输入/输出描述
biasGlobal输入Bias矩阵。类型为GlobalTensor。不同型号支持的数据类型请参考支持的数据类型

A矩阵、B矩阵、Bias支持的数据类型组合可参考Matmul输入输出数据类型的组合说明;在MxMatmul场景,A矩阵、B矩阵、Bias支持的数据类型组合可参考MatmulTypeWithScale参数说明
inputBias输入Bias矩阵。类型为LocalTensor,支持的TPosition为TSCM/VECOUT。不同型号支持的数据类型请参考支持的数据类型

A矩阵、B矩阵、Bias支持的数据类型组合可参考Matmul输入输出数据类型的组合说明;在MxMatmul场景,A矩阵、B矩阵、Bias支持的数据类型组合可参考MatmulTypeWithScale参数说明

返回值说明

约束说明

  • 在Matmul Tiling计算中,必须配置TCubeTiling结构中的isBias参数为1,即启用Bias后,才能调用本接口设置Bias矩阵。
  • 传入的Bias地址空间大小需要保证不小于singleN。
  • 对于Ascend 950PR/Ascend 950DT,Bias矩阵的内存逻辑位置为TSCM且数据类型为float或int32_t时,Bias矩阵的LocalTensor空间必须64字节对齐。
  • 支持的数据类型

    Ascend 950PR/Ascend 950DT,支持的数据类型为:half、bfloat16_t、float、int32_t,其中仅在A、B的数据类型为int8_t时,Bias的数据类型可以设置为int32_t。

    Atlas A3 训练系列产品/Atlas A3 推理系列产品,支持的数据类型为:half、float、int32_t,其中仅在A、B的数据类型为int8_t时,Bias的数据类型可以设置为int32_t。

    Atlas A2 训练系列产品/Atlas A2 推理系列产品,支持的数据类型为:half、float、int32_t,其中仅在A、B的数据类型为int8_t时,Bias的数据类型可以设置为int32_t。

    Atlas 推理系列产品AI Core,支持的数据类型为:half、float、int32_t,对于包含biasGlobal参数的原型,仅在A、B的数据类型为int8_t时,Bias的数据类型可以设置为int32_t。

    Atlas 200I/500 A2 推理产品,支持的数据类型为:half、float、int32_t,其中仅在A、B的数据类型为int8_t时,Bias的数据类型可以设置为int32_t。

    Kirin X90,支持的数据类型为:half、int32_t,其中仅在A、B的数据类型为int8_t时,Bias的数据类型可以设置为int32_t。

调用示例

Text
REGIST_MATMUL_OBJ(&pipe, GetSysWorkSpacePtr(), mm, &tiling);
mm.SetTensorA(gm_a);
mm.SetTensorB(gm_b);
if (tiling.isBias) {
    mm.SetBias(gmBias);  // 设置Bias
}
mm.IterateAll(gm_c);
mm.End();

免责声明:本站内容由 asc-devkit 仓 master 分支自动编译生成,属于持续开发版本,可能存在缺陷,仅供预览与参考。如需稳定及商用资料,请查阅官方 昇腾社区