FasterGelu

产品支持情况

• Ascend 950PR/Ascend 950DT：支持

• Atlas A3 训练系列产品/Atlas A3 推理系列产品：支持

• Atlas A2 训练系列产品/Atlas A2 推理系列产品：支持

• Atlas 200I/500 A2 推理产品：不支持

• Atlas 推理系列产品AI Core：支持
• Atlas 推理系列产品Vector Core：不支持

• Atlas 训练系列产品：不支持

• Kirin X90：支持

• Kirin 9030：支持

功能说明

在神经网络中，GELU是一个重要的激活函数，其灵感来源于relu和dropout，在激活中引入了随机正则的思想。为了降低GELU的算力需求，业界提出了FastGelu等版本。本接口FasterGelu是针对FastGelu的化简版本，公式化简可以大幅度提升计算性能。计算公式如下:

，化简后可得

函数原型

• 通过sharedTmpBuffer入参传入临时空间

  Text

  template <typename T, bool highPrecision = false, bool highPerformance = false>
  __aicore__ inline void FasterGelu(const LocalTensor<T>& dstLocal, const LocalTensor<T>& srcLocal, const LocalTensor<uint8_t>& sharedTmpBuffer, const uint32_t dataSize)
  

• 接口框架申请临时空间

  Text

  template <typename T, bool highPrecision = false, bool highPerformance = false>
  __aicore__ inline void FasterGelu(const LocalTensor<T>& dstLocal, const LocalTensor<T>& srcLocal, const uint32_t dataSize)
  

由于该接口的内部实现中涉及复杂的数学计算，需要额外的临时空间来存储计算过程中的中间变量。临时空间支持开发者通过sharedTmpBuffer入参传入和接口框架申请两种方式。

• 通过sharedTmpBuffer入参传入，使用该tensor作为临时空间进行处理，接口框架不再申请。该方式开发者可以自行管理sharedTmpBuffer内存空间，并在接口调用完成后，复用该部分内存，内存不会反复申请释放，灵活性较高，内存利用率也较高。
• 接口框架申请临时空间，开发者无需申请，但是需要预留临时空间的大小。

通过sharedTmpBuffer传入的情况，开发者需要为tensor申请空间；接口框架申请的方式，开发者需要预留临时空间。临时空间大小BufferSize的获取方式如下：通过GetGeluMaxMinTmpSize中提供的接口获取需要预留空间范围的大小。

参数说明

表1 模板参数说明

参数名	描述
T	操作数的数据类型。支持的数据类型为：half、float。
highPrecision	是否开启高精度模式，以提升运算准确度。默认值为false，表示不开启高精度模式。 注意：高精度模式只在half数据类型下开启后生效，该参数的取值不影响float数据类型下的接口精度和性能。
highPerformance	是否开启高性能模式，以提升运算效率。默认值为false，表示不开启高性能模式。 注意：开启高性能模式相比于默认不开启高精度和高性能模式会有精度下降，同时开启高精度和高性能模式相比于仅开启高性能模式可能会有性能下降。 针对Ascend 950PR/Ascend 950DT，该参数保留但不生效，取值为true或者false，接口的精度和性能没有区别。

表2 接口参数说明

参数名	输入/输出	描述
dstLocal	输出	目的操作数。 类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。
srcLocal	输入	源操作数。 类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。 源操作数的数据类型需要与目的操作数保持一致。
sharedTmpBuffer	输入	临时缓存。 类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。 用于接口内部复杂计算时存储中间变量，由开发者提供。 临时空间大小BufferSize的获取方式请参考GetGeluMaxMinTmpSize。
dataSize	输入	实际计算数据元素个数。

返回值说明

无

约束说明

• 源操作数和目的操作数的Tensor空间可以复用。
• 操作数地址对齐要求请参见通用地址对齐约束。
• 当前仅支持ND格式的输入，不支持其他格式。
• 不支持sharedTmpBuffer与源操作数和目的操作数地址重叠。

调用示例

Text

// dstLocal：输出Tensor
// srcLocal：输入Tensor
// dataSize：实际参与计算的元素个数

// 默认不开启高精度和高性能模式
AscendC::FasterGelu(dstLocal, srcLocal, dataSize);
// 开启高精度模式，高精度模式只在srcType为half时生效
AscendC::FasterGelu<srcType, true, false>(dstLocal, srcLocal, dataSize);
// 开启高性能模式
AscendC::FasterGelu<srcType, false, true>(dstLocal, srcLocal, dataSize);

结果示例如下：

Text

输入数据(srcLocal): [-1.83887 -3.60742 3.12891 -0.620605 2.0625 -2.77344 -0.04422 -3.54297 -3.16211 2.67383 1.3291 -1.57617 -0.0123901 3.77539 -1.61621 -0.616699]
输出数据(dstLocal): [-0.0769653 -0.00775528 3.11328 -0.160034 2.00195 -0.0244446 -0.021286 -0.00849152 -0.0144653 2.64453 1.20312 -0.100769 -0.00613022 3.76758 -0.0969238 -0.159912]