Skip to content

C++ Tensor编程概述

C++ Tensor编程是Ascend C SIMD编程路径的基础编程接口,基于Tensor对象抽象封装内存地址,提供类型安全、编译期检查的高层次编程能力。开发者通过LocalTensor、GlobalTensor、RegTensor等Tensor对象管理内存,无需直接操作指针地址,搬运计算接口直接操作Tensor对象即可完成数据流转。该路径适用于追求开发效率、类型安全、代码可维护性的算子开发场景,是习惯C++面向对象编程的开发者快速上手NPU算子开发的关键技术路径。本章旨在帮助开发者建立对C++ Tensor编程的系统化认知,理解其Tensor抽象编程范式、核心编程模型与开发方法论。

核函数(Kernel)​

核函数(Kernel)在前序章节已作介绍,C++ Tensor编程在核函数(Kernel)定义与调用上沿用SIMD编程通用规范,无额外语法约束。

内存层级​

AI Core采用分级存储架构,Cube矩阵计算采用「Global Memory(以下简称为GM) → L1/L0系列Buffer」两级层级服务于矩阵计算,Vector矢量计算传统架构为「Global Memory → UB」两级层级,而NPU架构版本3510引入寄存器后构建「GM → UB → Register」三级层级,其中GM存放输入输出数据、Unified Buffer(UB)作为矢量计算中间缓存、Register位于Vector计算单元最内层直接与执行单元交互。

AI Core存储层次结构

Tensor内存抽象​

Tensor本质是基于数组的编程抽象,而非简单的内存地址封装,通过数组方式管理内存并执行计算,更匹配SIMD硬件执行模型。其核心思想是将原始内存地址抽象为Tensor对象,实现从“地址操作”到“对象管理”的编程层次提升。

根据芯片分级存储架构,Tensor分为三类:GlobalTensor对应GM,存放算子输入/输出数据;LocalTensor对应片上内存(UB、L1 Buffer、L0A Buffer/L0B Buffer/L0C Buffer等缓冲区),承载计算过程数据;RegTensor对应寄存器,用于寄存器级矢量计算(NPU架构版本3510引入)。Tensor体系持续演进:基础Tensor仅携带数据指针和大小信息,需手动传递操作参数;扩展Tensor(Tensor API)引入Layout概念,携带Shape和Stride信息,接口可自动推导搬运长度、计算元素数等参数,大幅降低编程复杂度。该能力引入的接口统一通过asc::te命名空间调用(如asc::te::mmad)。

基础Tensor与扩展Tensor抽象定义​

  • 基础Tensor(不带Layout)仅封装数据指针与大小信息,无法表达数据的物理排布方式。开发者在执行搬运和计算时必须手动传入size/count参数、自行计算偏移与步长,面对高维张量时易出错且代码冗长。

    C++
    __global__ __vector__ void add_custom(__gm__ float* x, __gm__ float* y, __gm__ float* z) {
      AscendC::GlobalTensor<float> xGm;
      xGm.SetGlobalBuffer(x + block_idx * blockLength, blockLength);
    
      AscendC::LocalMemAllocator<AscendC::Hardware::UB> ubAllocator;
      AscendC::LocalTensor<float> xLocal = ubAllocator.Alloc<float, blockLength>();
    
      // Data copy and computation require manual size parameter
      AscendC::DataCopy(xLocal, xGm, blockLength);
      // yLocal, zLocal的定义、搬运等跟xLocal保持一致,此处省略
      ...
      AscendC::Add(zLocal, xLocal, yLocal, blockLength);
    }
    
  • 扩展Tensor(Tensor API)封装Shape和Stride信息,接口自动推导操作参数,实现编译期类型安全。开发者无需关注内存布局细节,一行代码即可完成切片、搬运与计算。当前能力赋能于Cube矩阵计算,后续将逐步支持Vector矢量计算。

    C++
    #include "tensor_api/tensor.h"
    
    using namespace asc::te;
    
    __global__ __cube__ void matmul_custom(__gm__ half* a, __gm__ half* b, __gm__ half* c) {
        // 实现代码示例,其中m, n, k为单核上GM上左右矩阵的大小, (base_m, k), (k, base_n)为搬运到L1上左右矩阵的大小
        // 扩展Tensor(Tensor API)携带Layout信息,搬运接口自动推导参数
        auto gm_a_tensor = make_tensor(make_mem_ptr(a), make_frame_layout<nd_ext_layout_ptn>(m, k));
        auto gm_b_tensor = make_tensor(make_mem_ptr(b), make_frame_layout<nd_ext_layout_ptn>(k, n));
        ...
        // __cbuf__ 为L1 Buffer的声明修饰符
        __cbuf__ half l1_a_buf[1024];
        __cbuf__ half l1_b_buf[1024];
        auto l1_a_tensor = make_tensor(make_mem_ptr(l1_a_buf), make_frame_layout<nz_layout_ptn>(base_m, K));
        auto l1_b_tensor = make_tensor(make_mem_ptr(l1_b_buf), make_frame_layout<nz_layout_ptn>(k, base_n));
        ...
        // 一行代码完成搬运,无需手动传入size参数
        auto copy_gm_to_l1_atom = make_copy(copy_gm_to_l1{}, gm_to_l1_trait_default{});
        copy(copy_gm_to_l1_atom, l1_a_tensor, gm_a_tensor);
        copy(copy_gm_to_l1_atom, l1_b_tensor, gm_b_tensor);
    }
    

外部存储​

前文的Tensor抽象示例中已展示了GlobalTensor和LocalTensor的基本用法。下面从硬件存储层级的角度,进一步介绍外部存储和内部存储的特性及Tensor管理方式。 GM是昇腾NPU的设备内存,位于AI Core外部,容量大、带宽高但访问延迟较长。用于存储算子的输入数据、输出结果和中间计算数据。GM具有持久性:其中存储的数据持续保留,直到内存空间被释放或应用程序终止。 用户通过Runtime API管理Device侧全局内存。Host侧使用aclrtMalloc分配Device内存,通过aclrtMemcpy完成Host与Device间的数据拷贝,通过<<<>>>拉起核函数(Kernel)执行,最后使用aclrtFree释放内存。有关Runtime API的详细信息,可参考《Runtime运行时API》。

如下示例展示了在Host侧通过Runtime API管理分配Device内存、在Host与Device之间数据拷贝以及核函数(Kernel)的调用过程:

C++
// Kernel function definition (using __global__ prefix to indicate Host call, Device execution)
__global__ __vector__ void add_custom(__gm__ uint8_t* x, __gm__ uint8_t* y, __gm__ uint8_t* z)
{
    AscendC::GlobalTensor<float> xGm;
    xGm.SetGlobalBuffer(reinterpret_cast<__gm__ float*>(x) + block_idx * blockLength, blockLength);
    ...
}

// Host side: allocate Device memory, copy data, launch kernel function
std::vector<float> kernel_add(std::vector<float> &x, std::vector<float> &y) {
    uint32_t totalLength = x.size();
    uint32_t byteSize = totalLength * sizeof(float);
    uint8_t *xHost = reinterpret_cast<uint8_t *>(x.data());
    uint8_t *yHost = reinterpret_cast<uint8_t *>(y.data());

    void *xDevice = nullptr;
    void *yDevice = nullptr;
    void *zDevice = nullptr;
    aclrtStream stream = nullptr;

    // Allocate Device memory
    aclrtMalloc(&xDevice, byteSize, ACL_MEM_MALLOC_HUGE_FIRST);
    aclrtMalloc(&yDevice, byteSize, ACL_MEM_MALLOC_HUGE_FIRST);
    aclrtMalloc(&zDevice, byteSize, ACL_MEM_MALLOC_HUGE_FIRST);
    aclrtCreateStream(&stream);

    // Host to Device data copy
    aclrtMemcpy(xDevice, byteSize, xHost, byteSize, ACL_MEMCPY_HOST_TO_DEVICE);
    aclrtMemcpy(yDevice, byteSize, yHost, byteSize, ACL_MEMCPY_HOST_TO_DEVICE);

    // Launch kernel function
    uint32_t numBlocks = 1;
    add_custom<<<numBlocks, 0, stream>>>((uint8_t*)xDevice, (uint8_t*)yDevice, (uint8_t*)zDevice);
    aclrtSynchronizeStream(stream);

    // Device to Host data copy
    std::vector<float> z(totalLength);
    aclrtMemcpy(z.data(), byteSize, zDevice, byteSize, ACL_MEMCPY_DEVICE_TO_HOST);

    // Free memory
    aclrtFree(xDevice);
    aclrtFree(yDevice);
    aclrtFree(zDevice);
    aclrtDestroyStream(stream);

    return z;
}

GM作为大容量全局内存,用于Host与Device交互及算子输入输出数据存储,但访问延迟较长,无法满足AI Core低延迟计算需求。所有Cube/Vector计算必须将数据预加载至片上内部存储,下面分UB、寄存器、L1/L0缓冲区介绍内部存储Tensor管理方式。

内部存储​

AI Core包含三类计算单元:Cube负责矩阵计算、Vector负责矢量计算、Scalar负责标量计算。计算前需将数据从外部存储加载到内部存储,不同存储单元服务不同计算单元:UB支撑矢量计算,L1 Buffer和L0A/L0B Buffer支撑矩阵计算。

AIV内部存储之UB​

UB是AI Core内主要用于矢量计算的内部存储单元,位于每个Vector Core(AIV)内部。容量较小但带宽高、延迟低,可视为内核执行期间由用户管理的高速缓存。

在C++ Tensor编程中,通过LocalTensor对象管理UB内存,其中对于基础Tensor(不带Layout)而言,主要通过LocalMemAllocator指定物理存储位置和内存大小来创建对应的Tensor。LocalMemAllocator是一种线性内存分配器,开发者可以调用Alloc方法进行内存分配,根据调用次序依次向后进行线性分配,但该分配器不提供内存释放以及其它内存管理的能力。

C++
__global__ __vector__ void add_custom(__gm__ uint8_t* x, __gm__ uint8_t* y, __gm__ uint8_t* z)
{
    // Basic Tensor: allocate through Allocator
    AscendC::LocalMemAllocator<AscendC::Hardware::UB> ubAllocator;
    AscendC::LocalTensor<half> ubTensor = ubAllocator.Alloc<half, 256>();
}

在初始功能开发时,可以使用LocalMemAllocator简化算子编写。如需更精细的内存控制(如规避Bank冲突、内存复用等),可通过LocalTensor直接指定地址进行管理。使用时需合理规划地址分配,确保不超过物理存储上限,并在保证功能正确的前提下进行内存复用。

C++
__global__ __vector__ void add_custom(__gm__ uint8_t* x, __gm__ uint8_t* y, __gm__ uint8_t* z)
{
  // 开发者手动指定x, y, z的地址
  uint64_t xAddrPing = 0;
  uint64_t yAddrPing = 1024;
  uint64_t zAddrPing = 2048;

  // 通过构造函数指定物理存储位置和地址、大小等构造LocalTensor
  AscendC::LocalTensor<float> xLocalPing(AscendC::TPosition::VECCALC, xAddrPing, 256);
  AscendC::LocalTensor<float> yLocalPing(AscendC::TPosition::VECCALC, yAddrPing, 256);
  AscendC::LocalTensor<float> zLocalPing(AscendC::TPosition::VECCALC, zAddrPing, 256);
}

📌 其中AscendC::TPosition::VECCALC为对物理位置的逻辑抽象定义,与物理位置的映射参考文件逻辑位置和物理存储的映射。

相比基础Tensor,NPU架构版本3510引入Layout描述并将其作为Tensor的核心属性,开发者可在Tensor创建时直接关联Shape与Stride信息,简化多维数据的布局管理。通过make_tensor,开发者可灵活指定内存地址和Layout布局,更便捷地描述ND、NZ等典型数据排布。

C++
// UB buffer declaration
__ubuf__ half ub_buffer[1024];
auto ub_ptr = make_mem_ptr(ub_buffer);
// Extended Tensor: create through make_tensor
auto ub_tensor = make_tensor(ub_ptr, make_layout(make_shape(128, 64)));

📌 UB地址必须32字节对齐,以匹配硬件总线粒度和SIMD计算单元并行度,非对齐访问将导致运行时错误。

AIV内部存储之Register File​

NPU架构版本3510引入寄存器可编程能力,Vector计算单元的所有计算均需经「GM → UB → Register」三级数据流转,在寄存器上完成矢量计算。C++ Tensor编程通过定义RegTensor方式进行寄存器编程。详见Reg矢量计算编程。

📌 寄存器可编程能力从NPU架构版本3510引入。

AIC内部存储之L1 Buffer & L0 Buffer​

Cube计算单元专用的缓存为:L0A Buffer存储左矩阵,L0B Buffer存储右矩阵,L0C Buffer存储初始累加值及矩阵计算结果。L1 Buffer用于缓存矩阵计算输入数据。

通过LocalTensor对象管理这些存储单元:

存储单元作用示例
L1 Buffer缓存矩阵计算输入数据LocalTensor<half> l1_buffer;
L0A Buffer存储左矩阵LocalTensor<half> l0a_buffer;
L0B Buffer存储右矩阵LocalTensor<half> l0b_buffer;
L0C Buffer存储计算结果LocalTensor<float> l0c_buffer;
Fixpipe Buffer存储量化参数LocalTensor<half> fixpipe_buffer;
BiasTable Buffer存储Bias数据LocalTensor<half> bias_buffer;

同UB的申请方式,开发者可通过LocalMemAllocator或直接构造LocalTensor来申请L1/L0 Buffer内存。为提升Cube计算效率,L1 Buffer和L0 Buffer采用分形格式。不同产品型号的分形格式存在差异:

存储单元NPU架构版本2201NPU架构版本3510
L1 BufferNzNz
L0A BufferZzNz
L0B BufferZnZn
L0C BufferNzNz

以FRACTAL_Nz为例,内存排布采用大N外部column major(列主序)+ 小z内部row major(行主序)存放:

FRACTAL_Nz内存排布示意图

Bank冲突​

为了提高数据访问的效率和吞吐量,内部存储采用了bank(大小相等的内存模块)结构设计。以UB为例,NPU架构版本3510产品上,UB总大小为256KB(256 × 1024字节),包含8个bank group,每个bank group包含2个bank。每个bank大小为16KB,由512行组成,每行长度为32B,采用低位地址交织。NPU架构版本2201的UB容量规格请参考UB bank结构。

UB Bank冲突示意图

该架构地址使用低位编址,地址排布如下图所示,每个bank可以独立地进行数据的读写操作,允许多个数据请求同时进行。然而,当多个读写操作试图同时访问同一个bank时,由于硬件资源的限制,这些操作必须排队等待,会导致bank冲突,引起性能下降。

低位交织地址排布

每个bank一拍只能完成一读或者一写,每个bank group最多只允许2读0写或者1读1写。根据内存结构,bank冲突主要可以分为以下三种类型:

  • 读写冲突:读操作和写操作同时尝试访问同一个bank,或者两个读操作和一个写操作同时尝试访问同一个bank group。
  • 写写冲突:多个写操作同时尝试访问同一个bank group。
  • 读读冲突:两个读操作访问同一个bank,或两个以上读操作同时尝试访问同一个bank group。

以读写冲突为例,当进行一组dst = src0 + src1的矢量加法计算时,如果src0的起始地址在0x0000,dst的起始地址为0x4000,结合Bank的排布,可以看到当前src0和dst的地址分别属于同一个bank和同一个bank group,则存在读写冲突。

当遇到Bank冲突时,会引起算子性能的下降,通常可以通过优化计算逻辑和优化分配地址方式来避免冲突的产生,详情请参考避免Bank冲突。

合理规划内存地址可规避Bank冲突、提升访存吞吐,但AI Core内DMA、Vector、Cube多流水异步执行,数据读写存在强依赖。需要配套同步机制管控多流水线执行时序,避免脏读、计算错乱。

同步机制​

前文介绍了AI Core的多级存储与计算单元架构。由于DMA搬运、矢量计算、矩阵计算等单元均为异步并行执行,数据读写、计算操作存在强依赖,因此必须依靠同步机制管控执行时序,保证程序逻辑正确。在编程场景中,同步是指协调多个执行单元(如线程、进程等)对共享资源的访问顺序和时机,以保障程序执行结果的正确性。若未通过同步机制严格控制执行顺序,会导致计算结果不一致、程序行为不可预测等问题。

AI Core的同步主要分为核内同步和核间同步。

核内同步​

AI Core内部的执行单元(如MTE2搬运单元、Vector计算单元等)以异步并行的方式运行,在读写同一存储资源时可能存在数据依赖关系。为确保数据一致性及计算正确性,需通过同步控制协调操作时序。

下图示例描述了一个常见的Vector计算数据流:

  1. 通过DMA将数据从GM搬入到Local Memory
  2. 进行矢量计算
  3. 通过DMA将数据从Local Memory搬出到GM

Vector计算数据流

四个执行单元Scalar、Vector、DMA(MTE2)、DMA(MTE3)并行执行,若访问同一片Local Memory,需要同步机制来控制它们的访问时序:保证先搬入Local Memory后再计算,计算完成后再搬出。

同步顺序示意图

📌 提示:上例描述的是主要路径,当Scalar执行单元读写GM或者UB时,也需要考虑Scalar流水与其他流水的同步。

AI Core上的执行单元分别属于不同的执行流水,同步即是保证不同执行流水间能够正确执行,如下为AI Core内的主要执行流水。

流水类型含义
PIPE_S标量流水线
PIPE_V矢量计算流水及部分硬件架构下的L0C Buffer→UB数据搬运流水
PIPE_M矩阵计算流水
PIPE_MTE1L1 Buffer→L0A Buffer、L1 Buffer→L0B Buffer数据搬运流水
PIPE_MTE2GM→L1 Buffer、GM→UB等数据搬运流水
PIPE_MTE3UB→GM、L1 Buffer→GM数据搬运流水
PIPE_FIXL0C Buffer→GM、L0C Buffer→L1等数据搬运流水

为确保流水线间正确执行,AI Core针对不同应用场景提供了多种同步机制,开发者可根据实际需求灵活选择合适的同步方式来实现算子功能。

同步类型核心作用及场景说明关键接口实现代码示例
多流水同步(机制一)Mutex互斥锁用于核内异步流水间的同步,功能类似传统CPU锁机制。NPU架构版本3510新引入,比SetFlag/WaitFlag更简便。关于Mutex::Lock/Mutex::Unlock与SetFlag/WaitFlag的同步方式差异,以及双缓冲场景下的MutexID规划和使用约束,请参考基于Mutex实现多流水同步。Mutex::Lock & Mutex::UnlockAscendC::Mutex::Lock<PIPE_MTE2>(mutexId);
AscendC::DataCopy(srcLocal, srcGlobal, dataSize);
AscendC::Mutex::Unlock<PIPE_MTE2>(mutexId);
AscendC::Mutex::Lock<PIPE_V>(mutexId);
AscendC::Add(dstLocal, src0Local, src1Local, dataSize);
AscendC::Mutex::Unlock<PIPE_V>(mutexId);
多流水同步(机制二)SetFlag与WaitFlag实现两条流水间同步等待。引入Mutex后仍保持兼容,但优先推荐Mutex机制。SetFlag & WaitFlagAscendC::DataCopy(srcLocal, srcGlobal, dataSize);
AscendC::SetFlag<HardEvent::MTE2_V>(eventId);
AscendC::WaitFlag<HardEvent::MTE2_V>(eventId);
AscendC::Add(dstLocal, src0Local, src1Local, count);
单流水同步PipeBarrier等待同一流水内前序指令完成,用于同一流水内的前后数据依赖。PipeBarrierAscendC::Add(dstLocal, src0Local, src1Local, count);
AscendC::PipeBarrier<PIPE_V>();
AscendC::Sub(dstLocal, dstLocal, src0Local, count);
内存访问顺序控制等待所有前序内存访问完成,用于存在数据依赖或内存依赖的场景。DataSyncBarrierAscendC::DataSyncBarrier<AscendC::MemDsbT::DDR>();

核间同步​

当一个核计算所依赖的数据,需要等待其他相关核的计算全部完成后才能执行时,则需要通过核间同步来确保多核间的时序正确性。

以下图为例,AIC(AI Cube,主要用于Cube计算)需要依赖于AIV(AI Vector,负责Vector计算)的ReduceSum计算结果。由于整体矢量较大,必须拆分为多个部分,由每个AIV分别完成部分计算。每个AIV将其部分计算结果通过原子累加写入GM。AIC需要读取的必须是所有AIV均完成累加后的最终结果。

核间同步业务场景示例

从上图可以看到,当前AI Core是由AIC核和AIV核组成,其中AIC核主要用于Cube计算,AIV核负责Vector计算。AIC/AIV按group进行划分。一个group内细分block及subblock,block与subblock比例为1:N(N>=1),block表示多少个“主核”,subblock表示一个“主核”带多少个“从核”。

block和subblock之间关系

算子按计算特征可划分为三类:Cube算子(矩阵计算)、Vector算子(矢量计算)和CV融合算子(矩阵与矢量混合计算)。算子类型决定了其核间同步方式与group配置模式的选择。针对不同算子场景,C++ Tensor编程通过CrossCoreSetFlag和CrossCoreWaitFlag两个接口组合实现核间同步,以满足多样化的算子开发需求。

核间同步类型场景说明实现代码示例
所有AIC核同步同步所有AIC核,通常用于对Cube算子计算结果进行多核累加操作。if ASCEND_IS_AIC {
AscendC::CrossCoreSetFlag<0x0, PIPE_FIX>(flagID);
AscendC::CrossCoreWaitFlag<0x0>(flagID);
}
所有AIV核同步同步所有AIV核,通常用于对Vector算子计算结果进行多核累加操作。if ASCEND_IS_AIV {
AscendC::CrossCoreSetFlag<0x0, PIPE_MTE3>(flagID);
AscendC::CrossCoreWaitFlag<0x0>(flagID);
}
单个AI Core内两个AIV子核之间同步同步单个AI Core内两个AIV子核,通常用于Vector算子内需要分组进行同步的场景。if ASCEND_IS_AIV {
AscendC::CrossCoreSetFlag<0x1, PIPE_MTE3>(flagID);
AscendC::CrossCoreWaitFlag<0x1>(flagID);
}
单个AI Core内AIC与AIV同步同步单个AI Core内AIC与AIV核,通常用于CV融合算子中Cube与Vector间的交互操作。AIC触发两个AIV同时等待。if ASCEND_IS_AIC {
AscendC::CrossCoreSetFlag<0x2, PIPE_FIX>(0);
}
if ASCEND_IS_AIV {
AscendC::CrossCoreWaitFlag<0x2>(0);
}
单个AI Core内AIC与AIV同步(NPU架构版本3510新引入)同步单个AI Core内AIC与AIV核,通常用于CV融合算子中Cube与Vector间的交互操作。AIV0与AIV1可单独触发AIC等待。if ASCEND_IS_AIC {
AscendC::CrossCoreSetFlag<0x4, PIPE_FIX>(0);
AscendC::CrossCoreSetFlag<0x4, PIPE_FIX>(16);
}
if ASCEND_IS_AIV {
AscendC::CrossCoreWaitFlag<0x4>(0);
}

📌 基于分离模式(AIC和AIV分离)开发融合算子时,算子逻辑中通常同时包含AIV和AIC的处理逻辑,此时需要使用Ascend C提供的宏ASCEND_IS_AIV/ASCEND_IS_AIC来对AIV和AIC的代码进行隔离。

上表中CrossCoreSetFlag的第一个模板参数为同步目标标识,不同取值对应不同的同步范围:0x0表示所有核同步,0x1表示单个AI Core内AIV子核间同步,0x2表示单个AI Core内AIC与AIV同步(两个AIV同时触发),0x4表示单个AI Core内AIC与AIV同步(AIV0与AIV1可单独触发,NPU架构版本3510新引入)。

算子类型​

结合前文介绍的AI Core计算单元、多级内存架构与同步机制,基于硬件能力可开发三类算子:矢量算子、矩阵算子、融合算子。前序章节对硬件架构的介绍中已说明:AI Core包含Vector(矢量计算)和Cube(矩阵计算)两类核心计算单元,Cube计算单元部署于AIC核,Vector计算单元部署于AIV核,每个核均配备独立的Scalar单元,可独立加载各自的代码段。基于此,开发者可实现Vector矢量算子、Cube矩阵算子及CV融合算子。

Vector矢量计算​

Vector矢量计算主要包含基础算术、归约计算、数据类型转换等矢量计算。

在NPU架构版本2201上,Vector矢量计算的数据来自于UB(要求32B对齐),C++ Tensor编程在Vector计算单元上提供了通过LocalTensor直接操作计算的接口能力。此类直接操作UB的编程方式称为Memory矢量计算编程。

以Add计算为例,当开发者需要计算4096长度的向量加法,可通过Add(dstTensor, src0Tensor, src1Tensor, count)接口直接进行计算。更多内容请参考Memory矢量计算编程。

C++
// Define Vector operator, marked with __vector__ to execute on Device, suitable for operators with only Vector computation
__global__ __vector__ void add_kernel(__gm__ float* x, __gm__ float* y, __gm__ float* z)
{
    AscendC::LocalMemAllocator<AscendC::Hardware::UB> ubAllocator;
    AscendC::LocalTensor<float> xLocal = ubAllocator.Alloc<float, 4096>();
    AscendC::LocalTensor<float> yLocal = ubAllocator.Alloc<float, 4096>();
    AscendC::LocalTensor<float> zLocal = ubAllocator.Alloc<float, 4096>();

    // 1. Data transfer in: transfer GM data to UB, this implementation is omitted
    // ...
    // 2. Perform calculation for the first 4096 elements via Add interface
    AscendC::Add(zLocal, xLocal, yLocal, 4096);
}

NPU架构版本3510新一代架构,引入寄存器可编程能力,在传统UB缓存体系的基础上,开放寄存器(Register)可编程能力,构建出「GM → UB → Register」的三级内存层级。新一代架构下的矢量计算都需要从UB加载到Register寄存器后,再利用Register寄存器进行计算操作。可参考Reg矢量计算编程中有关Reg矢量计算编程的描述。

📌 寄存器可编程能力从NPU架构版本3510引入。

Cube矩阵计算​

Cube矩阵计算主要涵盖矩阵乘计算与卷积计算,其数据主要来源于L1 Buffer与L0A/B Buffer。L1 Buffer用于矩阵计算数据缓存,L0A Buffer用于存储左矩阵,L0B Buffer用于存储右矩阵,L0C Buffer用于存储初始累加值及矩阵计算结果。此类基于Cube计算单元直接操作L1/L0A/L0B/L0C Buffer的编程范式称为Cube矩阵计算编程。

以Matmul矩阵乘计算为例,开发者通过操作Cube矩阵计算能力可以完成如下图所示的c = a * b + bias的计算。

  • A、B为源操作数,A为左矩阵,形状为[M, K];B为右矩阵,形状为[K, N]。
  • C为目的操作数,存放矩阵乘结果的矩阵,形状为[M, N]。
  • bias为矩阵乘偏置,形状为[1, N]。对A*B结果矩阵的每一行都采用该bias进行偏置。

矩阵乘示意图

C++
// Tile sizes of one base matrix multiplication: M=128, K=64, N=256 (aligned to the 16x16 fractal granularity)
constexpr uint32_t BLOCK_M = 128;
constexpr uint32_t BLOCK_K = 64;
constexpr uint32_t BLOCK_N = 256;

// Define Cube matrix operator, marked with __cube__ to execute on Device Cube core, suitable for operators with only Cube computation
__global__ __cube__ void matmul_kernel(__gm__ float* x, __gm__ float* y, __gm__ float* z)
{
    AscendC::LocalMemAllocator<AscendC::Hardware::L1> l1Allocator;
    AscendC::LocalMemAllocator<AscendC::Hardware::L0A> l0aAllocator;
    AscendC::LocalMemAllocator<AscendC::Hardware::L0B> l0bAllocator;
    AscendC::LocalMemAllocator<AscendC::Hardware::L0C> l0cAllocator;

    AscendC::LocalTensor<half> a_l1_buf = l1Allocator.Alloc<half, BLOCK_M * BLOCK_K>();
    AscendC::LocalTensor<half> b_l1_buf = l1Allocator.Alloc<half, BLOCK_K * BLOCK_N>();
    AscendC::LocalTensor<half> l0a_buf = l0aAllocator.Alloc<half, BLOCK_M * BLOCK_K>();
    AscendC::LocalTensor<half> l0b_buf = l0bAllocator.Alloc<half, BLOCK_K * BLOCK_N>();
    AscendC::LocalTensor<float> l0c_buf = l0cAllocator.Alloc<float, BLOCK_M * BLOCK_N>();

    // GM2L1 and L12L0 data transfer operations
    // ...
    // Execute Mmad, computation size is (BLOCK_M, BLOCK_K, BLOCK_N)
    AscendC::Mmad(l0c_buf, l0a_buf, l0b_buf, {BLOCK_M, BLOCK_K, BLOCK_N, 0, false, false});
    // Matrix data transfer out
}

CV融合计算​

CV融合计算程序由多个独立的小算子融合而成,其功能与多个小算子的功能等价,性能方面通常优于独立的小算子。用户可以根据实际业务场景诉求,按照具体算法自由融合向量(Vector)、矩阵(Cube)算子以达到性能上的收益。融合了Cube计算、Vector计算的算子统称为CV融合算子。

比如对于LLM大模型中最核心的一个融合算子Flash Attention,其核心实现如下图。图中的Matmul算子(Cube)、Scale算子(Vector)、Mask算子(Vector)、SoftMax算子(Vector)融合为一个大的算子Flash Attention。

Flash Attention核心实现

C++
// Define CV fusion operator, marked with __mix__ to execute on Device, suitable for operators combining Cube and Vector computation
__global__ __mix__ void mix_kernel(__gm__ float* x, __gm__ float* y, __gm__ float* z)
{
    if ASCEND_IS_AIV {
        // ...
        AscendC::Add(zLocal, xLocal, yLocal, 4096);
        // ...
    }

    if ASCEND_IS_AIC {
        // ...
        AscendC::Mmad(l0c_buf, l0a_buf, l0b_buf, {BLOCK_M, BLOCK_K, BLOCK_N, 0, false, false});
        // ...
    }
}

融合算子在提升性能与充分发挥算力的基础上,通过合并算子减少计算量与内存占用、优化数据流传输、简化代码实现,实现计算效率、资源利用率与代码质量的同步提升。

编程约束和限制​

  • 同步事件由开发者使用SetFlag/WaitFlag(ISASI)和PipeBarrier(ISASI)手动插入,事件的类型和事件ID由开发者自行管理,但需要注意事件ID不能使用6和7(可能与内部使用的事件ID出现冲突,进而出现未定义行为)。
  • 核函数(Kernel)入口处需要开发者手动调用InitSocState接口用来初始化全局状态寄存器。因为全局状态寄存器处于不确定状态,如果不调用该接口,可能导致算子执行过程中出现未定义行为。在TPipe框架编程中,初始化过程由TPipe完成,无需开发者关注。
  • 核函数(Kernel)结束前需要开发者手动调用PipeBarrier<PIPE_ALL>()。
  • 部分API内部通过软仿真实现,需占用Ascend C预留的UB空间,开发者使用时需关注目标API是否依赖该预留空间(针对NPU架构版本2201,Select等API内部使用了8KB的预留UB空间,用于存储中间数据;针对NPU架构版本3510,Exp等API内部使用了2KB的预留UB空间,用于指令兼容或存储中间数据)。若开启--cce-disable-asc-reserved-ubuf编译选项,在对应产品版本下调用相关API会触发编译期报错。具体API范围见使用预留UB空间的API列表。
  • 同时另外一些软仿实现接口内部会占用系统分配的事件ID,如果开发者手动调用SetFlag/WaitFlag(ISASI)插入自定义事件ID时会跟接口内部的事件ID产生冲突,所以用户自定义事件ID时,只能支持部分API。具体支持的API列表见支持的API范围。

支持的API范围​

表1 针对Atlas推理系列产品AI Core,支持的API范围

接口分类

接口名称

基础API > 标量计算

ScalarGetCountOfValue、ScalarCountLeadingZero、ScalarCast、CountBitsCntSameAsSignBit、ScalarGetSFFValue

基础API > 矢量计算 > 基础算术

Exp、Ln、Abs、Reciprocal、Sqrt、Rsqrt、Relu、VectorPadding、Add、Sub、Mul、Div、Max、Min、BilinearInterpolation、Adds、Muls、Maxs、Mins、LeakyRelu

基础API > 矢量计算 > 逻辑计算

Not、And、Or

基础API > 矢量计算 > 复合计算

Axpy、CastDequant、AddRelu、AddReluCast、AddDeqRelu、SubRelu、SubReluCast、MulAddDst、MulCast、FusedMulAdd、FusedMulAddRelu

基础API > 矢量计算 > 比较与选择

Compare、Compare(结果存入寄存器)、CompareScalar、GetCmpMask、SetCmpMask、

Select、GatherMask

基础API > 矢量计算 > 类型转换

Cast

基础API > 矢量计算 > 归约计算

WholeReduceMax、WholeReduceMin、WholeReduceSum、BlockReduceMax、BlockReduceMin、BlockReduceSum、PairReduceSum、RepeatReduceSum、GetReduceMaxMinCount

基础API > 矢量计算 > 数据转换

Transpose、TransDataTo5HD

基础API > 矢量计算 > 数据填充

Duplicate

基础API > 矢量计算 > 排序组合

ProposalConcat、ProposalExtract、RpSort16、MrgSort4、GetMrgSortResult

基础API > 矢量计算 > 离散与聚合

Gather、Scatter

基础API > 矢量计算 > 掩码操作

SetMaskCount、SetMaskNorm、SetVectorMask、ResetMask

基础API > 矢量计算 > 量化设置

SetDeqScale

基础API > 数据搬运 > DataCopy

基础数据搬运

基础API > 同步控制 > 核内同步

SetFlag/WaitFlag、PipeBarrier

基础API > 缓存控制

DataCachePreload、DataCacheCleanAndInvalid、ICachePreLoad

基础API > 系统变量访问

GetBlockNum、GetBlockIdx、GetDataBlockSizeInBytes、GetArchVersion、GetTaskRatio、InitSocState、GetProgramCounter、CheckLocalMemoryIA

基础API > 原子操作

SetAtomicAdd、DisableDmaAtomic

基础API > 矩阵计算

InitConstValue、LoadData、SetAippFunctions、LoadImageToLocal、LoadUnzipIndex、LoadDataUnzip、SetLoadDataBoundary、SetLoadDataPaddingValue、Mmad

表2 针对Atlas A2系列产品,支持的API范围

接口分类

接口名称

备注

基础API > 标量计算

GetBitCount、CountLeadingZero、CountBitsCntSameAsSignBit、GetSFFValue、Cast(float转half、int32_t)、Cast(float转bfloat16_t)、Cast(多类型转float)

-

基础API > 矢量计算 > 基础算术

Exp、Ln、Abs、Reciprocal、Sqrt、Rsqrt、Relu、Add、Sub、Mul、Div、Max、Min、BilinearInterpolation、Adds、Muls、Maxs、Mins、LeakyRelu

-

基础API > 矢量计算 > 逻辑计算

Not、And、Or、ShiftLeft、ShiftRight

-

基础API > 矢量计算 > 复合计算

Axpy、CastDequant、AddRelu、AddReluCast、SubRelu、SubReluCast、MulAddDst、MulCast、FusedMulAdd、FusedMulAddRelu

-

基础API > 矢量计算 > 比较与选择

Compare、Compare(结果存入寄存器)、Compares、GetCmpMask、SetCmpMask、GatherMask

-

基础API > 矢量计算 > 类型转换

Cast

-

基础API > 矢量计算 > 归约计算

WholeReduceMax、WholeReduceMin、WholeReduceSum、BlockReduceMax、BlockReduceMin、BlockReduceSum、PairReduceSum、RepeatReduceSum、GetReduceRepeatSumSpr、GetReduceRepeatMaxMinSpr

-

基础API > 矢量计算 > 数据转换

Transpose、TransDataTo5HD

TransDataTo5HD (不支持dst与src类型为uint64_t的LocalTensor的场景)

基础API > 矢量计算 > 数据填充

Duplicate、Brcb

-

基础API > 矢量计算 > 排序组合

Sort32、MrgSort、GetMrgSortResult

-

基础API > 矢量计算 > 离散与聚合

Gather、Gatherb

-

基础API > 矢量计算 > 掩码操作

SetMaskCount、SetMaskNorm、SetVectorMask、ResetMask

-

基础API > 矢量计算 > 量化设置

SetDeqScale

-

基础API > 数据搬运 > DataCopy

基础数据搬运

不支持UB(VECIN/VECCALC/VECOUT)->L1 Buffer(TSCM)通路的数据搬运。

增强数据搬运

不支持UB(VECIN/VECCALC/VECOUT)->L1 Buffer(TSCM)通路的数据搬运。

切片数据搬运

-

随路转换ND2NZ搬运

随路转换NZ2ND搬运

随路量化激活搬运

随路转换ND2NZ搬运不支持UB(VECIN/VECCALC/VECOUT)->L1 Buffer(TSCM)通路的数据搬运。

基础API > 数据搬运

Copy、DataCopyPad、SetPadValue

DataCopyPad不支持UB(VECIN/VECCALC/VECOUT)->L1 Buffer(TSCM)通路的数据搬运。

基础API > 同步控制 > 核内同步

SetFlag/WaitFlag、PipeBarrier、DataSyncBarrier

-

基础API > 同步控制 > 核间同步

CrossCoreSetFlag、CrossCoreWaitFlag

-

基础API > 缓存控制

DataCachePreload、DataCacheCleanAndInvalid、ICachePreLoad、GetICachePreloadStatus

-

基础API > 系统变量访问

GetBlockNum、GetBlockIdx、GetDataBlockSizeInBytes、GetArchVersion、GetTaskRatio、InitSocState、GetProgramCounter、GetSubBlockNum、GetSubBlockIdx、GetSystemCycle、

CheckLocalMemoryIA

-

基础API > 原子操作

SetAtomicAdd、SetAtomicType、DisableDmaAtomic、SetAtomicMax、SetAtomicMin、SetStoreAtomicConfig、GetStoreAtomicConfig

-

基础API > 矩阵计算

Mmad、MmadWithSparse、SetHF32Mode、SetHF32TransMode、SetMMLayoutTransform、SetFixPipeConfig、SetFixpipeNz2ndFlag、SetFixpipePreQuantFlag、InitConstValue、LoadData、LoadDataWithTranspose、SetAippFunctions、LoadImageToLocal、LoadDataWithSparse、SetFmatrix、SetLoadDataBoundary、SetLoadDataRepeat、SetLoadDataPaddingValue、Fixpipe

-

Utils API > C++标准库 > 算法

max、min、index_sequence

-

Utils API > C++标准库 > 容器函数

tuple、get、make_tuple

-

Utils API > C++标准库 > 类型特性

is_convertible、is_base_of、is_same、enable_if、conditional

-

表3 针对Atlas A3系列产品,支持的API范围

接口分类

接口名称

备注

基础API > 标量计算

GetBitCount、CountLeadingZero、CountBitsCntSameAsSignBit、GetSFFValue、Cast(float转half、int32_t)、Cast(float转bfloat16_t)、Cast(多类型转float)

-

基础API > 矢量计算 > 基础算术

Exp、Ln、Abs、Reciprocal、Sqrt、Rsqrt、Relu、Add、Sub、Mul、Div、Max、Min、BilinearInterpolation、Adds、Muls、Maxs、Mins、LeakyRelu

-

基础API > 矢量计算 > 逻辑计算

Not、And、Or、ShiftLeft、ShiftRight

-

基础API > 矢量计算 > 复合计算

Axpy、CastDequant、AddRelu、AddReluCast、SubRelu、SubReluCast、MulAddDst、MulCast、FusedMulAdd、FusedMulAddRelu

-

基础API > 矢量计算 > 比较与选择

Compare、Compare(结果存入寄存器)、Compares、GetCmpMask、SetCmpMask、GatherMask

-

基础API > 矢量计算 > 类型转换

Cast

-

基础API > 矢量计算 > 归约计算

WholeReduceMax、WholeReduceMin、WholeReduceSum、BlockReduceMax、BlockReduceMin、BlockReduceSum、PairReduceSum、RepeatReduceSum、GetReduceRepeatSumSpr、GetReduceRepeatMaxMinSpr

-

基础API > 矢量计算 > 数据转换

Transpose、TransDataTo5HD

TransDataTo5HD (不支持dst与src类型为uint64_t的LocalTensor的场景)

基础API > 矢量计算 > 数据填充

Duplicate、Brcb

-

基础API > 矢量计算 > 排序组合

Sort32、MrgSort、GetMrgSortResult

-

基础API > 矢量计算 > 离散与聚合

Gather、Gatherb

-

基础API > 矢量计算 > 掩码操作

SetMaskCount、SetMaskNorm、SetVectorMask、ResetMask

-

基础API > 矢量计算 > 量化设置

SetDeqScale

-

基础API > 数据搬运 > DataCopy

基础数据搬运

不支持UB(VECIN/VECCALC/VECOUT)->L1 Buffer(TSCM)通路的数据搬运。

基础API > 数据搬运

增强数据搬运

不支持UB(VECIN/VECCALC/VECOUT)->L1 Buffer(TSCM)通路的数据搬运。

切片数据搬运

-

随路转换ND2NZ搬运

随路转换NZ2ND搬运

随路量化激活搬运

随路转换ND2NZ搬运不支持UB(VECIN/VECCALC/VECOUT)->L1 Buffer(TSCM)通路的数据搬运。

Copy、DataCopyPad、SetPadValue

DataCopyPad不支持UB(VECIN/VECCALC/VECOUT)->L1 Buffer(TSCM)通路的数据搬运。

基础API > 同步控制 > 核内同步

SetFlag/WaitFlag、PipeBarrier、DataSyncBarrier

-

基础API > 同步控制 > 核间同步

CrossCoreSetFlag、CrossCoreWaitFlag

-

基础API > 缓存控制

DataCachePreload、DataCacheCleanAndInvalid、ICachePreLoad、GetICachePreloadStatus

-

基础API > 系统变量访问

GetBlockNum、GetBlockIdx、GetDataBlockSizeInBytes、GetArchVersion、GetTaskRatio、InitSocState、GetProgramCounter、GetSubBlockNum、GetSubBlockIdx、GetSystemCycle、

CheckLocalMemoryIA

-

基础API > 原子操作

SetAtomicAdd、SetAtomicType、DisableDmaAtomic、SetAtomicMax、SetAtomicMin、SetStoreAtomicConfig、GetStoreAtomicConfig

-

基础API > 矩阵计算

Mmad、MmadWithSparse、SetHF32Mode、SetHF32TransMode、SetMMLayoutTransform、SetFixPipeConfig、SetFixpipeNz2ndFlag、SetFixpipePreQuantFlag、InitConstValue、LoadData、LoadDataWithTranspose、SetAippFunctions、LoadImageToLocal、LoadDataWithSparse、SetFmatrix、SetLoadDataBoundary、SetLoadDataRepeat、SetLoadDataPaddingValue、Fixpipe

-

Utils API > C++标准库 > 算法

max、min、index_sequence

-

Utils API > C++标准库 > 容器函数

tuple、get、make_tuple

-

Utils API > C++标准库 > 类型特性

is_convertible、is_base_of、is_same、enable_if、conditional

-

高阶API > C++标准库 > 类型特性

is_convertible、is_base_of、is_same、enable_if、conditional

-

高阶API > 模板库函数 > type_traits

is_convertible、is_base_of、is_same、enable_if、conditional

-

表4 针对Ascend 950PR&950DT系列产品,支持的API范围

接口分类

接口名称

备注

基础API > 标量计算

GetBitCount、CountLeadingZero、CountBitsCntSameAsSignBit、GetSFFValue、Cast(float转half、int32_t)、Cast(float转bfloat16_t)、Cast(多类型转float)、Nop、GetUintDivMagicAndShift、WriteGmBypassDCache、ReadGmBypassDCache

-

基础API > 矢量计算 > 基础算术

Exp、Ln、Abs、Reciprocal、Sqrt、Rsqrt、Relu、Neg、Add、Sub、Mul、Div、Max、Min、BilinearInterpolation、Prelu、Mull、Adds、Adds(灵活标量位置)、Muls、Muls(灵活标量位置)、Maxs、Maxs(灵活标量位置)、Mins、Mins(灵活标量位置)、Subs、Divs、LeakyRelu

-

基础API > 矢量计算 > 逻辑计算

Not、And、Or、ShiftLeft(左移位数为Tensor)、ShiftRight(右移位数为Tensor)、Ands、Ors、ShiftLeft、ShiftRight

-

基础API > 矢量计算 > 复合计算

Axpy、CastDequant、AddRelu、AddReluCast、AddDeqRelu、SubRelu、SubReluCast、MulAddDst、MulCast、FusedMulAdd、MulAddRelu、AbsSub、FusedExpSub、MulsCast

-

基础API > 矢量计算 > 比较与选择

Compare、Compares、Compares(灵活标量位置)、GetCmpMask、SetCmpMask、GatherMask、Select、Select(灵活标量位置)

Select不支持:tensor高位切分计算->Select模式0和模式2->不传入mask参数接口中的模式0。

基础API > 矢量计算 > 类型转换

Cast、Truncate

-

基础API > 矢量计算 > 归约计算

ReduceMax、ReduceMin、WholeReduceSum、BlockReduceMax、BlockReduceMin、BlockReduceSum、PairReduceSum、RepeatReduceSum、

-

基础API > 矢量计算 > 数据转换

Transpose

-

基础API > 矢量计算 > 数据填充

Duplicate、Brcb、CreateVecIndex

-

基础API > 矢量计算 > 排序组合

Sort32、MrgSort、GetMrgSortResult

-

基础API > 矢量计算 > 离散与聚合

Gather、Gatherb、Scatter

-

基础API > 矢量计算 > 掩码操作

SetMaskCount、SetMaskNorm、SetVectorMask、ResetMask

-

基础API > 矢量计算 > 量化设置

SetDeqScale

-

基础API > 矢量计算 > 数据重排

Interleave、DeInterleave

-

基础API > 数据搬运 > DataCopy

基础数据搬运

不支持UB(VECIN/VECCALC/VECOUT)->L1 Buffer(TSCM)通路的数据搬运。

增强数据搬运

不支持UB(VECIN/VECCALC/VECOUT)->L1 Buffer(TSCM)通路的数据搬运。

切片数据搬运

-

随路转换ND2NZ搬运

不支持UB(VECIN/VECCALC/VECOUT)->L1 Buffer(TSCM)通路的数据搬运。

随路转换NZ2ND搬运

-

随路量化激活搬运

-

基础API > 数据搬运

Copy、DataCopyPad、SetPadValue

DataCopyPad不支持UB(VECIN/VECCALC/VECOUT)->L1 Buffer(TSCM)通路的数据搬运。

基础API > 同步控制 > 核内同步

SetFlag/WaitFlag、PipeBarrier、DataSyncBarrier

-

基础API > 同步控制 > 核间同步

CrossCoreSetFlag、CrossCoreWaitFlag、SyncAll

-

基础API > 缓存控制

DataCachePreload、DataCacheCleanAndInvalid、ICachePreLoad、GetICachePreloadStatus

-

基础API > 系统变量访问

GetBlockNum、GetBlockIdx、GetDataBlockSizeInBytes、GetArchVersion、InitSocState、GetSpr、ClearSpr、GetProgramCounter、GetSubBlockNum、GetSubBlockIdx、GetSystemCycle、SetCtrlSpr、GetCtrlSpr、ResetCtrlSpr

-

基础API > 原子操作

SetAtomicAdd、SetAtomicType、DisableDmaAtomic、SetAtomicMax、SetAtomicMin、SetStoreAtomicConfig、GetStoreAtomicConfig、AtomicAdd、AtomicMin、AtomicMax、AtomicCas、AtomicExch

-

基础API > 矩阵计算

Fill、LoadData、LoadDataWithTranspose、LoadDataWithSparse、SetFmatrix、SetLoadDataBoundary、SetLoadDataRepeat、SetLoadDataPaddingValue、Fixpipe、SetFixPipeConfig、SetFixpipeNz2ndFlag、SetFixpipePreQuantFlag、SetAippFunctions、LoadImageToLocal、Mmad、SetHF32Mode、SetHF32TransMode

-

Utils API > C++标准库 > 算法

max、min、index_sequence

-

Utils API > C++标准库 > 容器函数

tuple、get、make_tuple

-

Utils API > C++标准库 > 类型特性

is_convertible、is_same、enable_if、conditional

-

使用预留UB空间的API范围​

以下API内部会使用Ascend C预留的UB空间。当开启--cce-disable-asc-reserved-ubuf编译选项后,在对应产品版本下调用相关API会触发编译期报错。由于同一API使用预留UB空间的情况在不同NPU架构下有差异,开启该编译选项后,需要手动调整API调用方式或替换为不依赖预留UB空间的实现,才能完成兼容性迁移。

注意

同一接口若提供多个重载原型,可能只有部分原型会使用UB预留空间。

表5 针对 NPU架构版本2201,使用预留UB空间的API范围

API类别API名
基础APIAddDeqRelu、Select
高阶APIDigamma、Lgamma、Power、Sign、LayerNorm、DropOut、SelectWithBytesMask

表6 针对 NPU架构版本3510,使用预留UB空间的API范围

API类别API名
基础API > Memory数据搬运Copy
基础API > 基础算术Exp、Ln、Abs、Reciprocal、Sqrt、Rsqrt、Relu、Add、Sub、Mul、Div、Max、Min、Adds、Muls、Maxs、Mins、LeakyRelu、Subs、Divs
基础API > 逻辑计算Not、And、Or、ShiftLeft、ShiftRight、Ands、Ors
基础API > 复合计算Axpy、CastDequant、CastDeq、AddRelu、AddReluCast、AddDeqRelu、SubRelu、SubReluCast、MulAddDst、MulCast、FusedMulAdd、FusedMulAddRelu、MulAddRelu
基础API > 比较与选择Compare、Compares、CompareScalar、Select、GatherMask
基础API > 类型转换Cast
基础API > 归约计算ReduceRepeat、ReduceDataBlock、ReducePairElem、BlockReduceMax、BlockReduceMin、BlockReduceSum、PairReduceSum、RepeatReduceSum、WholeReduceMax、WholeReduceMin、WholeReduceSum
基础API > 数据填充Duplicate
基础API > 工具接口 > Tiling数据获取GET_TILING_DATA、GET_TILING_DATA_WITH_STRUCT、GET_TILING_DATA_MEMBER
Utils API > 调测接口(SIMD VF)printf、asc_dump_reg、asc_dump、asc_dump_ubuf
高阶APIAscendAntiQuant、AdjustSoftMaxRes、TopK

免责声明:本站内容由 asc-devkit 仓 master 分支自动编译生成,属于持续开发版本,可能存在缺陷,仅供预览与参考。如需稳定及商用资料,请查阅官方 昇腾社区。