Skip to content

asc_storealign_1st_postupdate

产品支持情况

  • Ascend 950PR/Ascend 950DT:支持
  • Atlas A3 训练系列产品/Atlas A3 推理系列产品:不支持
  • Atlas A2 训练系列产品/Atlas A2 推理系列产品:不支持
  • Atlas 200I/500 A2 推理产品:不支持
  • Atlas 推理系列产品AI Core:不支持
  • Atlas 推理系列产品Vector Core:不支持
  • Atlas 训练系列产品:不支持

功能说明

头文件路径为:"c_api/reg_compute/store/storealign.h"

将源矢量数据寄存器中的第一个元素写入Unified Buffer(UB)中目的地址。单次搬出单个元素的数据,不支持配置掩码,目的地址需按sizeof(dtype)对齐,搬运过程中数据格式和内容保持不变。接口采用Post Update模式,搬运完成后自动更新目的地址,便于硬件循环内连续多次调用时无需手动维护目的地址。本接口在Vector Function(__simd_vf__标记的函数)内使用。

b16位宽单点搬出过程为例,示意图如下:

图1 b16单个元素搬出数据

本接口仅在AIV上执行有效。

函数原型

C
// 占位符形式
__simd_callee__ inline void asc_storealign_1st_postupdate(__ubuf__ <dtype>*& dst,
                                                          vector_<dtype> src,
                                                          int32_t offset)

dtype支持数据类型

dtype支持的数据类型为int8_tuint8_tint16_tuint16_thalfbfloat16_tint32_tuint32_tfloat

函数原型典型示例

C
__simd_callee__ inline void asc_storealign_1st_postupdate(__ubuf__ int8_t*& dst,
                                                          vector_int8_t src,
                                                          int32_t offset)

参数说明

表1 参数说明

参数名输入/输出描述
dst输入/输出目的操作数(矢量)的起始地址,按指针引用传入(__ubuf__ <dtype>*&),搬运完成后该地址会被硬件自动Post Update。
src输入源操作数(矢量数据寄存器)。
offset输入地址偏移量,单位为元素个数。接口执行后dst指针的底层UB地址向后偏移offset × sizeof(dtype)字节。

矢量数据寄存器的详细说明请参见reg数据类型定义

返回值说明

约束说明

通用约束

  • 本接口非AIV调用直接返回。
  • 本接口在Vector Function(__simd_vf__标记的函数)内调用。
  • UB容量上限:UB总容量为256KB,默认预留6KB SIMD VF栈与2KB Ascend C预留空间后可用248KB;SIMD+SIMT混编时再划分32KB~128KB作Data Cache,可用容量进一步减少。dst起始地址与Post Update累计偏移量之和不可超过实际可用容量,否则会报错。
  • 如果本指令与其他指令存在UB地址重叠,需要插入同步指令asc_mem_bar,保证多个指令串行化,防止出现异常数据。

指令约束

  • dst起始地址需按照dtype数据类型对齐,Post Update后的dst新地址仍需满足dtype对齐,否则下一次调用本接口会报错。

调用示例

将代码保存为example.asc后,可通过bisheng命令编译运行,其中--npu-arch参数需根据实际产品型号指定对应的NPU架构,具体产品与NPU架构的映射关系请参考__NPU_ARCH__

以Ascend 950PR/Ascend 950DT产品(对应NPU架构为dav-3510)为例,编译运行命令如下:

Bash
bisheng example.asc -o main --npu-arch=dav-3510 && ./main
C
#include <cstdint>
#include <iostream>
#include <vector>
#include "c_api/asc_simd.h"
#include "acl/acl.h"

namespace {
constexpr uint32_t ELEMENT_COUNT = 128;
constexpr int32_t OFFSET = 7;
constexpr uint32_t REPEAT_TIMES = 3;
constexpr uint16_t SENTINEL = 0xffff;
constexpr uint32_t BUFFER_BYTES = ELEMENT_COUNT * sizeof(uint16_t);

__simd_vf__ inline void store_first_postupdate_vf(__ubuf__ uint16_t* output,
                                                   __ubuf__ uint16_t* input)
{
    vector_uint16_t src;
    asc_loadalign(src, input);
    for (uint32_t i = 0; i < REPEAT_TIMES; ++i) {
        asc_storealign_1st_postupdate(output, src, OFFSET);
    }
}

__global__ __vector__ void store_first_postupdate_kernel(__gm__ uint16_t* output,
                                                          __gm__ uint16_t* input)
{
    asc_init();
    __ubuf__ uint16_t output_local[ELEMENT_COUNT];
    __ubuf__ uint16_t input_local[ELEMENT_COUNT];
    asc_copy_gm2ub(output_local, output, BUFFER_BYTES);
    asc_copy_gm2ub(input_local, input, BUFFER_BYTES);
    asc_sync_notify(PIPE_MTE2, PIPE_V, EVENT_ID0);
    asc_sync_wait(PIPE_MTE2, PIPE_V, EVENT_ID0);
    store_first_postupdate_vf(output_local, input_local);
    asc_sync_notify(PIPE_V, PIPE_MTE3, EVENT_ID0);
    asc_sync_wait(PIPE_V, PIPE_MTE3, EVENT_ID0);
    asc_copy_ub2gm(output, output_local, BUFFER_BYTES);
    asc_sync();
}
} // namespace

int main()
{
    std::vector<uint16_t> input(ELEMENT_COUNT);
    std::vector<uint16_t> output(ELEMENT_COUNT, SENTINEL);
    for (uint32_t i = 0; i < ELEMENT_COUNT; ++i) input[i] = static_cast<uint16_t>(i + 1);
    aclInit(nullptr);
    aclrtSetDevice(0);
    uint16_t* input_device = nullptr;
    uint16_t* output_device = nullptr;
    aclrtMalloc(reinterpret_cast<void**>(&input_device), BUFFER_BYTES, ACL_MEM_MALLOC_HUGE_FIRST);
    aclrtMalloc(reinterpret_cast<void**>(&output_device), BUFFER_BYTES, ACL_MEM_MALLOC_HUGE_FIRST);
    aclrtMemcpy(input_device, BUFFER_BYTES, input.data(), BUFFER_BYTES, ACL_MEMCPY_HOST_TO_DEVICE);
    aclrtMemcpy(output_device, BUFFER_BYTES, output.data(), BUFFER_BYTES, ACL_MEMCPY_HOST_TO_DEVICE);
    store_first_postupdate_kernel<<<1, 0>>>(output_device, input_device);
    aclrtSynchronizeDevice();
    aclrtMemcpy(output.data(), BUFFER_BYTES, output_device, BUFFER_BYTES, ACL_MEMCPY_DEVICE_TO_HOST);
    bool passed = true;
    for (uint32_t i = 0; i < ELEMENT_COUNT; ++i) {
        const bool written = i < REPEAT_TIMES * OFFSET && i % OFFSET == 0;
        passed = passed && output[i] == (written ? input[0] : SENTINEL);
    }
    std::cout << (passed ? "[Success] asc_storealign_1st_postupdate completed."
                         : "[Failed] asc_storealign_1st_postupdate output mismatch.") << std::endl;
    aclrtFree(input_device);
    aclrtFree(output_device);
    aclrtResetDevice(0);
    aclFinalize();
    return passed ? 0 : 1;
}

免责声明:本站内容由 asc-devkit 仓 master 分支自动编译生成,属于持续开发版本,可能存在缺陷,仅供预览与参考。如需稳定及商用资料,请查阅官方 昇腾社区