WholeReduceSum

产 品 支 持 情 况

产 品	是 否 支 持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训 练 系 列 产 品/Atlas A3 推 理 系 列 产 品	√
Atlas A2 训 练 系 列 产 品/Atlas A2 推 理 系 列 产 品	√
Atlas 200I/500 A2 推 理 产 品	√
Atlas 推 理 系 列 产 品AI Core	√
Atlas 推 理 系 列 产 品Vector Core	x
Atlas 训 练 系 列 产 品	√
Kirin X90	√
Kirin 9030	√

功 能 说 明

每 个 迭 代 内 所 有 数 据 求 和。归 约 指 令 的 总 体 介 绍 请 参 考如 何 使 用 归 约 计 算API。

函 数 原 型

• mask逐bit模 式

  Text

  template <typename T, bool isSetMask = true>
  __aicore__ inline void WholeReduceSum(const LocalTensor<T>& dst, const LocalTensor<T>& src, const uint64_t mask[], const int32_t repeatTime, const int32_t dstRepStride, const int32_t srcBlkStride, const int32_t srcRepStride)
  

• mask连 续 模 式

  Text

  template <typename T, bool isSetMask = true>
  __aicore__ inline void WholeReduceSum(const LocalTensor<T>& dst, const LocalTensor<T>& src, const int32_t mask, const int32_t repeatTime, const int32_t dstRepStride, const int32_t srcBlkStride, const int32_t srcRepStride)
  

• mask逐bit模 式

  Text

  template <typename T, bool isSetMask = true, typename U = T>
  __aicore__ inline void WholeReduceSum(const LocalTensor<U>& dst, const LocalTensor<T>& src, const uint64_t mask[], const int32_t repeatTime, const int32_t dstRepStride, const int32_t srcBlkStride, const int32_t srcRepStride)
  

• mask连 续 模 式

  Text

  template <typename T, bool isSetMask = true, typename U = T>
  __aicore__ inline void WholeReduceSum(const LocalTensor<U>& dst, const LocalTensor<T>& src, const int32_t mask, const int32_t repeatTime, const int32_t dstRepStride, const int32_t srcBlkStride, const int32_t srcRepStride)
  

参 数 说 明

表 1 模 板 参 数 说 明

参 数 名	描 述
T	源 操 作 数 数 据 类 型。
U	目 的 操 作 数 数 据 类 型。
isSetMask	是 否 在 接 口 内 部 设 置mask。 true，表 示 在 接 口 内 部 设 置mask。 false，表 示 在 接 口 外 部 设 置mask，开 发 者 需 要 使 用SetVectorMask接 口 设 置mask值。这 种 模 式 下，接 口 入 参 中 的mask值 设 置 为 占 位 符MASK_PLACEHOLDER，用 于 占 位，无 实 际 含 义。

表 2 参 数 说 明

参 数 名 称	输 入/输 出	含 义
dst	输 出	目 的 操 作 数。 类 型 为LocalTensor，支 持 的TPosition为VECIN/VECCALC/VECOUT。 LocalTensor的 起 始 地 址 需 要 保 证2字 节 对 齐（针 对half数 据 类 型），4字 节 对 齐（针 对float数 据 类 型）。 Ascend 950PR/Ascend 950DT，支 持 的 数 据 类 型 为：uint32_t/int32_t/half/float Atlas A3 训 练 系 列 产 品/Atlas A3 推 理 系 列 产 品，支 持 的 数 据 类 型 为：half/float Atlas A2 训 练 系 列 产 品/Atlas A2 推 理 系 列 产 品，支 持 的 数 据 类 型 为：half/float Atlas 200I/500 A2 推 理 产 品，支 持 的 数 据 类 型 为：half/float Atlas 推 理 系 列 产 品AI Core，支 持 的 数 据 类 型 为：half/float Atlas 训 练 系 列 产 品，支 持 的 数 据 类 型 为：half/float Kirin X90，支 持 的 数 据 类 型 为：half/float Kirin 9030，支 持 的 数 据 类 型 为：half/float
src	输 入	源 操 作 数。 类 型 为LocalTensor，支 持 的TPosition为VECIN/VECCALC/VECOUT。 LocalTensor的 起 始 地 址 需 要32字 节 对 齐。 源 操 作 数 的 数 据 类 型 需 要 与 目 的 操 作 数 保 持 一 致。 针 对Ascend 950PR/Ascend 950DT：src数 据 类 型uint16_t和int16_t时，dst数 据 类 型 分 别 为uint32_t和int32_t，其 他 情 况 下，dst数 据 类 型 均 与src数 据 类 型 相 同。 Ascend 950PR/Ascend 950DT，支 持 的 数 据 类 型 为：uint16_t/int16_t/uint32_t/int32_t/half/float Atlas A3 训 练 系 列 产 品/Atlas A3 推 理 系 列 产 品，支 持 的 数 据 类 型 为：half/float Atlas A2 训 练 系 列 产 品/Atlas A2 推 理 系 列 产 品，支 持 的 数 据 类 型 为：half/float Atlas 200I/500 A2 推 理 产 品，支 持 的 数 据 类 型 为：half/float Atlas 推 理 系 列 产 品AI Core，支 持 的 数 据 类 型 为：half/float Atlas 训 练 系 列 产 品，支 持 的 数 据 类 型 为：支 持 的 数 据 类 型 为half/float Kirin X90，支 持 的 数 据 类 型 为：half/float Kirin 9030，支 持 的 数 据 类 型 为：half/float
mask/mask[]	输 入	mask用 于 控 制 每 次 迭 代 内 参 与 计 算 的 元 素。 逐bit模 式：可 以 按 位 控 制 哪 些 元 素 参 与 计 算，bit位 的 值 为1表 示 参 与 计 算，0表 示 不 参 与。 mask为 数 组 形 式，数 组 长 度 和 数 组 元 素 的 取 值 范 围 和 操 作 数 的 数 据 类 型 有 关。当 操 作 数 为16位 时，数 组 长 度 为2，mask[0]、mask[1]∈[0, 264-1]并 且 不 同 时 为0；当 操 作 数 为32位 时，数 组 长 度 为1，mask[0]∈(0, 264-1]；当 操 作 数 为64位 时，数 组 长 度 为1，mask[0]∈(0, 232-1]。 例 如，mask=[8, 0]，8=0b1000，表 示 仅 第4个 元 素 参 与 计 算。 连 续 模 式：表 示 前 面 连 续 的 多 少 个 元 素 参 与 计 算。取 值 范 围 和 操 作 数 的 数 据 类 型 有 关，数 据 类 型 不 同，每 次 迭 代 内 能 够 处 理 的 元 素 个 数 最 大 值 不 同。当 操 作 数 为16位 时，mask∈[1, 128]；当 操 作 数 为32位 时，mask∈[1, 64]；当 操 作 数 为64位 时，mask∈[1, 32]。
repeatTime	输 入	迭 代 次 数。取 值 范 围 为[0, 255]。 关 于 该 参 数 的 具 体 描 述 请 参 考高 维 切 分API。
dstRepStride	输 入	目 的 操 作 数 相 邻 迭 代 间 的 地 址 步 长。以 一 个repeat归 约 后 的 长 度 为 单 位。 单 位 为dst数 据 类 型 所 占 字 节 长 度。比 如 当dst为half时，单 位 为2Bytes。 注 意，此 参 数 值Atlas 训 练 系 列 产 品不 支 持 配 置0。
srcBlkStride	输 入	单 次 迭 代 内datablock的 地 址 步 长。详 细 说 明 请 参 考dataBlockStride。
srcRepStride	输 入	源 操 作 数 相 邻 迭 代 间 的 地 址 步 长，即 源 操 作 数 每 次 迭 代 跳 过 的DataBlock数 目。详 细 说 明 请 参 考repeatStride。

返 回 值 说 明

无

约 束 说 明

• 操 作 数 地 址 对 齐 要 求 请 参 见通 用 地 址 对 齐 约 束。

• 操 作 数 地 址 重 叠 约 束 请 参 考通 用 地 址 重 叠 约 束。

• 对 于WholeReduceSum，其 内 部 的 相 加 方 式 采 用 二 叉 树 方 式，两 两 相 加：

  假 设 源 操 作 数 为128个half类 型 的 数 据[data0,data1,data2...data127]，一 个repeat可 以 计 算 完，计 算 过 程 如 下。

  1. data0和data1相 加 得 到data00，data2和data3相 加 得 到data01...data124和data125相 加 得 到data62，data126和data127相 加 得 到data63；
  2. data00和data01相 加 得 到data000，data02和data03相 加 得 到data001...data62和data63相 加 得 到data031；
  3. 以 此 类 推，得 到 目 的 操 作 数 为1个half类 型 的 数 据[data]。

  需 要 注 意 的 是 两 两 相 加 的 计 算 过 程 中，计 算 结 果 大 于65504时 结 果 保 存 为65504。例 如 源 操 作 数 为[60000,60000,-30000,100]，首 先60000+60000溢 出，结 果 为65504，第 二 步 计 算-30000+100=-29900，第 四 步 计 算65504-29900=35604。

调 用 示 例

完 整 样 例 可 参 考WholeReduce系 列 归 约 指 令 样 例。

• tensor高 维 切 分 计 算 样 例-mask连 续 模 式

  Text

  // dstLocal,srcLocal均 为half类 型,srcLocal的 计 算 数 据 量 为512，连 续 排 布，计 算 结 果 也 需 要 连 续 排 布，使 用tensor高 维 切 分 计 算 接 口，设 定mask为 最 多 的128个 全 部 元 素 参 与 计 算
  // 根 据 以 上 信 息，推 断 出repeatTime为4，dstRepStride为1，srcBlkStride为1，srcRepStride为8
  AscendC::WholeReduceSum<half>(dstLocal, srcLocal, 128, 4, 1, 1, 8);
  

• tensor高 维 切 分 计 算 样 例-mask逐bit模 式

  Text

  // dstLocal,srcLocal均 为half类 型，srcLocal的 计 算 数 据 量 为512，连 续 排 布，计 算 结 果 也 需 要 连 续 排 布，使 用tensor高 维 切 分 计 算 接 口，设 定mask为 最 多 的128个 全 部 元 素 参 与 计 算
  uint64_t mask[2] = { 0xFFFFFFFFFFFFFFFF, 0xFFFFFFFFFFFFFFFF };
  
  // 根 据 以 上 信 息，推 断 出repeatTime为4，dstRepStride为1，srcBlkStride为1，srcRepStride为8
  AscendC::WholeReduceSum<half>(dstLocal, srcLocal, mask, 4, 1, 1, 8);
  

• 针 对 不 同 场 景 合 理 使 用 归 约 指 令 可 以 带 来 性 能 提 升，相 关 介 绍 请 参 考选 择 低 延 迟 指 令，优 化 归 约 操 作 性 能，具 体 样 例 请 参 考ReduceCustom。