Skip to content

Brcb

产品支持情况

  • Ascend 950PR/Ascend 950DT:支持
  • Atlas A3 训练系列产品/Atlas A3 推理系列产品:支持
  • Atlas A2 训练系列产品/Atlas A2 推理系列产品:支持
  • Atlas 200I/500 A2 推理产品:不支持
  • Atlas 推理系列产品 AI Core:支持
  • Atlas 推理系列产品 Vector Core:不支持
  • Atlas 训练系列产品:不支持
  • Kirin X90:支持
  • Kirin 9030:支持

功能说明

头文件路径为:"basic_api/kernel_operator_vec_brcb_intf.h"

Brcb接口对输入数据,每一次取输入张量中的8个数进行填充操作,将每个数填充到结果张量的一个DataBlock(32字节)中。

接口计算原理和参考伪代码如下:

Python
import numpy as np

def Brcb(src, dst, repeatTime, repeatParams):
    outputType = np.dtype("uint16")
    oneDataBlockSize = 32
    if repeatParams.dstBlkStride == 0:
        repeatParams.dstBlkStride = 1
    
    for i in range(repeatTime): 
        for j in range(8):
            srcEleIndex = i * 8 + j
            dstBlockStartIndex = (oneDataBlockSize * i * repeatParams.dstRepStride + oneDataBlockSize * j * repeatParams.dstBlkStride) // outputType.itemsize
            dstBlockEndIndex = (oneDataBlockSize * i * repeatParams.dstRepStride + oneDataBlockSize * j * repeatParams.dstBlkStride + oneDataBlockSize) // outputType.itemsize
            dst[dstBlockStartIndex : dstBlockEndIndex] = src[srcEleIndex]

函数原型

C++
template <typename T>
__aicore__ inline void Brcb(const LocalTensor<T>& dst, const LocalTensor<T>& src, const uint8_t repeatTime, const BrcbRepeatParams& repeatParams)

参数说明

表1 模板参数说明

参数名称描述
T操作数数据类型。

表2 接口参数说明

参数名称输入/输出含义
dst输出目的操作数,类型为LocalTensor,支持的TPosition为VECIN/VECCALC/VECOUT。
LocalTensor的起始地址需要按照32字节对齐。
src输入源操作数,类型为LocalTensor,支持的TPosition为VECIN/VECCALC/VECOUT。
需要按照32字节对齐。
注:每一次迭代读取src中的8个元素,所以src的元素个数不小于8 * repeatTime。
repeatTime输入指令迭代次数,每次迭代完成8个DataBlock的数据收集,取值范围:repeatTime∈[0,255]。
repeatParams输入用于控制指令迭代的相关参数,类型为BrcbRepeatParms。
BrcbRepeatParams参数说明请参考表3 BrcbRepeatParams结构体参数说明

表3 BrcbRepeatParams结构体参数说明

参数名称含义
dstBlkStride单次迭代内,矢量目的操作数不同DataBlock间地址步长,单位为DataBlock。
dstRepStride相邻迭代间,矢量目的操作数相同DataBlock地址步长,单位为DataBlock。
blockNumber注:预留的扩展参数,当前因后续架构升级,该参数已废弃,不对其进行业务处理。
src1BlkStride注:预留的扩展参数,当前因后续架构升级,该参数已废弃,不对其进行业务处理。
src1RepStride注:预留的扩展参数,当前因后续架构升级,该参数已废弃,不对其进行业务处理。
repeatStrideMode注:预留的扩展参数,当前因后续架构升级,该参数已废弃,不对其进行业务处理。
strideSizeMode注:预留的扩展参数,当前因后续架构升级,该参数已废弃,不对其进行业务处理。

数据类型

  • 针对Ascend 950PR/Ascend 950DT,T支持的数据类型为:int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、int64_t、uint64_t。
  • 针对Atlas A3 训练系列产品/Atlas A3 推理系列产品,T支持的数据类型为:int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。
  • 针对Atlas A2 训练系列产品/Atlas A2 推理系列产品,T支持的数据类型为:int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float。
  • 针对Atlas 推理系列产品AI Core,T支持的数据类型为:int16_t、uint16_t、half、int32_t、uint32_t、float。
  • 针对Kirin X90,T支持的数据类型为:uint16_t、half、uint32_t、float。
  • 针对Kirin 9030,T支持的数据类型为:uint16_t、half、uint32_t、float。

返回值说明

约束说明

  • 操作数地址对齐要求请参见通用地址对齐约束
  • 不支持源操作数与目的操作数使用同一块内存地址。
  • BrcbRepeatParams结构体内参数dstBlkStride不支持设置为0,若设置成0可能产生未定义行为。
  • 针对Atlas 推理系列产品AI Core,使用时需要预留8KB的Unified Buffer空间,作为接口的临时数据存放区。
  • 当参数count或repeatTime取值为0时,该接口的行为如下:
    • 针对如下型号,该接口不会执行计算操作,不会对目的操作数进行写入,该接口将被视为NOP(空操作)。
      • Atlas A3 训练系列产品/Atlas A3 推理系列产品
      • Atlas A2 训练系列产品/Atlas A2 推理系列产品
    • 针对Ascend 950PR/Ascend 950DT,该接口通过VF调用Reg矢量计算API实现兼容,当参数count或repeatTime取值为0时,不保证该接口将被视为NOP(空操作)。

关键特性说明

源操作数不支持Stride参数配置,始终采用连续读。

目的操作数连续

利用dstBlkStride和dstRepStride参数进行连续写,从源操作数取8个half数据类型的元素填充到连续的8个DataBlock中。

dstBlkStride为1:说明同一迭代内目的操作数中相邻DataBlock地址连续。

dstRepStride为8:说明相邻迭代间目的操作数中首尾DataBlock地址连续。

图1 目的操作数连续

目的操作数连续

目的操作数非连续

利用dstBlkStride和dstRepStride参数进行跳写,从源操作数取8个half数据类型的元素填充到非连续的8个DataBlock中。

dstBlkStride为2:说明同一迭代内目的操作数中相邻DataBlock地址非连续(间隔1个DataBlock)。

dstRepStride为16:说明相邻迭代间目的操作数中首尾DataBlock地址非连续(间隔1个DataBlock)。

图2 目的操作数非连续

目的操作数非连续

调用示例

本调用示例中只展示完整样例中的接口部分代码。如果您需要运行示例代码,请直接参考完整样例Brcb样例进行编译执行。

C++
// repeatTime = 2, 128 elements one repeat, 256 elements total
// srcLocal数据类型为half,dstLocal数据类型为half
// dstBlkStride = 1, no gap between blocks in one repeat
// dstRepStride = 8, no gap between repeats 
AscendC::Brcb(dstLocal, srcLocal, 2, {1, 8});

结果示例如下:

输入数据(srcLocal):
[1 2 3 ... 16]
输出数据(dstLocal)初始值:
[0. 0. 0. 0. 0. 0. ... 0.]
进行Brcb计算后,输出数据(dstLocal):
[1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 ... 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 16 16 16 16 16 16 16 16 16 16 16 16 16 16 16 16]

免责声明:本站内容由 asc-devkit 仓 master 分支自动编译生成,属于持续开发版本,可能存在缺陷,仅供预览与参考。如需稳定及商用资料,请查阅官方 昇腾社区