Skip to content

asc_copy_l12bt(NPU架构版本3510)

产品支持情况​

  • Ascend 950PR&950DT系列产品:支持
  • Atlas A3系列产品:不支持
  • Atlas A2系列产品:不支持
  • Atlas 200I/500 A2推理产品:不支持
  • Atlas推理系列产品AI Core:不支持
  • Atlas推理系列产品Vector Core:不支持
  • Atlas训练系列产品:不支持

功能说明​

头文件路径为:"c_api/cube_datamove/cube_datamove.h"。

将L1 Buffer中的偏置数据搬运到BiasTable Buffer,供矩阵计算单元(Mmad)作为bias输入读取。支持源操作数为half、bfloat16_t、int32_t、float类型搬运,其中搬运过程对于half、bfloat16_t会进行随路格式转换后写入BiasTable Buffer:bfloat16_t自动转换为float;half在开启转换即conv_control设置为1时转换为float,未开启转换即conv_control设置为0时每个half元素仅扩展为32 bit(高16 bit为占位数据)。

本接口提供两种参数列表完全不同的功能模式,用户按需选择对应重载:

  • 高维切分搬运:通过配置数据块个数、单个数据块长度、源/目间隔等搬运参数实现连续与非连续搬运。
  • 连续数据搬运:仅指定size,按照一个连续数据块搬运,源/目间隔均为0。

本接口仅在AIC上执行有效。

Bias矩阵的格式见辅助矩阵分形格式详解;在asc_mmad中按对应架构的重载选择Bias作为C矩阵初始值。

函数原型​

高维切分搬运模式​

C
// 占位符形式
__aicore__ inline void asc_copy_l12bt(uint64_t dst,
                                      __cbuf__ <dtype>* src,
                                      uint16_t conv_control,
                                      uint16_t n_burst,
                                      uint16_t len_burst,
                                      uint16_t source_gap,
                                      uint16_t dst_gap)

dtype支持数据类型​

dtype取值为:half、bfloat16_t、int32_t、float。

函数原型典型示例​

C
// 示例:bfloat16_t类型的高维切分搬运。
__aicore__ inline void asc_copy_l12bt(uint64_t dst,
                                      __cbuf__ bfloat16_t* src,
                                      uint16_t conv_control,
                                      uint16_t n_burst,
                                      uint16_t len_burst,
                                      uint16_t source_gap,
                                      uint16_t dst_gap)

连续数据搬运模式​

C
// 占位符形式
__aicore__ inline void asc_copy_l12bt(uint64_t dst,
                                      __cbuf__ <dtype>* src,
                                      uint32_t size)

dtype支持数据类型​

dtype取值为:half、bfloat16_t、int32_t、float。

函数原型典型示例​

C
// 示例:float类型的连续数据搬运。
__aicore__ inline void asc_copy_l12bt(uint64_t dst,
                                      __cbuf__ float* src,
                                      uint32_t size)

参数说明​

表1 参数说明

参数名输入/输出描述
dst输出目的操作数,存储位置为BiasTable Buffer。目的地址需64字节对齐。
src输入源操作数,存储位置为L1 Buffer。源地址需32字节对齐。
conv_control输入源操作数为half类型时,是否开启随路格式转换。
  • 0:不开启转换,每个half元素扩展为32 bit(高16 bit为占位数据)后写入BT;
  • 1:开启转换,每个half元素转换为float后写入BT。仅dtype为half时可设置,其他dtype需设置为0。
n_burst输入待搬运的连续数据块个数。取值范围 [1, 4095]。
len_burst输入每个连续数据块的长度,单位32字节。取值范围 [1, 65535]。dtype为float或int32_t时需2对齐(即取值为偶数),否则触发异常。
source_gap输入源端(L1 Buffer)相邻两次搬运之间的间隔,单位32字节,从上一次搬运结束位置到下一次搬运起始位置。取值范围 [0, 65535]。n_burst=1时无意义,置0即可。
dst_gap输入目的端(BiasTable Buffer)相邻两次搬运之间的间隔,单位32字节,从上一次搬运结束位置到下一次搬运起始位置。取值范围 [0, 65535]。n_burst=1时无意义,置0即可。dtype为float或int32_t时需2对齐(即取值为偶数),否则触发异常。
size输入搬运数据总大小,单位字节。
注:size需要32字节对齐,若未对齐,搬运量会向下取整到32字节对齐。

返回值说明​

无

流水类型​

PIPE_MTE1

约束说明​

通用约束​

  • 本接口非AIC调用直接返回。
  • dst起始地址需64字节对齐(BiasTable Buffer对齐要求),src起始地址需32字节对齐(L1 Buffer对齐要求),否则触发异常。
  • BiasTable Buffer容量上限4KB,dst偏移与搬运大小之和不可越界,否则触发写溢出异常。
  • L1 Buffer容量上限512KB,src偏移与搬运大小之和不可越界,否则触发读异常。
  • 如果本指令与其他指令存在数据依赖,需要插入同步指令,保证多个指令串行化,防止出现异常数据。
  • n_burst为0时不执行搬运,本接口被视为NOP(空操作)。
  • dtype为float或int32_t时,len_burst与dst_gap均必须2对齐(即取值为偶数),size/32需为偶数,否则触发搬运异常。
  • conv_control开启(非0)时dtype必须为half,否则触发搬运异常,传入非0/1的值仅最低位生效(如2等价于0即转换关闭、3等价于1即转换开启)。

调用示例​

将代码保存为examples.asc后,可通过bisheng命令编译运行,其中--npu-arch参数需根据实际产品型号指定对应的NPU架构,具体产品与NPU架构的映射关系请参考__NPU_ARCH__。

以Ascend 950PR&950DT系列产品(对应NPU架构为dav-3510)为例,编译运行命令如下:

Bash
bisheng examples.asc -o main --npu-arch=dav-3510 && ./main
C++
#include <cstdint>
#include <cstdio>
#include "acl/acl.h"
#include "c_api/asc_simd.h"

constexpr uint32_t M = 128, N = 128, K = 128;
constexpr uint32_t BYTES = N * sizeof(half);

__global__ __cube__ void CopyL12btKernel(__gm__ half* input)
{
    asc_init();
    __cbuf__ half l1[N];
    asc_copy_gm2l1(l1, input, 1, BYTES / 32, asc_channel_pad_mode::NONE, 0, 0);
    asc_sync_notify(PIPE_MTE2, PIPE_MTE1, EVENT_ID0);
    asc_sync_wait(PIPE_MTE2, PIPE_MTE1, EVENT_ID0);
    asc_copy_l12bt(0, l1, BYTES);
    asc_sync();
}

int main()
{
    aclInit(nullptr); aclrtSetDevice(0);
    half* input = nullptr;
    aclrtMalloc(reinterpret_cast<void**>(&input), BYTES, ACL_MEM_MALLOC_HUGE_FIRST);
    CopyL12btKernel<<<1, 0>>>(input);
    const aclError ret = aclrtSynchronizeDevice();
    std::printf("M=%u N=%u K=%u asc_copy_l12bt=%s\n", M, N, K,
        ret == ACL_SUCCESS ? "PASS" : "FAIL");
    aclrtFree(input); aclrtResetDevice(0); aclFinalize();
    return ret == ACL_SUCCESS ? 0 : 1;
}

免责声明:本站内容由 asc-devkit 仓 master 分支自动编译生成,属于持续开发版本,可能存在缺陷,仅供预览与参考。如需稳定及商用资料,请查阅官方 昇腾社区。