asc_dump
产品支持情况
- Ascend 950PR/Ascend 950DT:支持
- Atlas A3 训练系列产品/Atlas A3 推理系列产品:支持
- Atlas A2 训练系列产品/Atlas A2 推理系列产品:支持
- Atlas 200I/500 A2 推理产品:不支持
- Atlas 推理系列产品AI Core:不支持
- Atlas 推理系列产品Vector Core:不支持
- Atlas 训练系列产品:不支持
功能说明
将对应内存上的数据打印出来,同时支持打印自定义的附加信息(仅支持uint32_t类型的信息),比如打印当前行号等。
使用该接口需要包含"utils/debug/asc_dump.h"头文件。
注意
该功能主要用于调试和性能分析,通常在调测阶段使用,会对算子性能产生一定影响,生产环境可以通过设置ASCENDC_DUMP=0的方式关闭。 默认情况下,该功能开启。
函数原型
// GM内存上的数据打印
template<typename T>
__aicore__ static __attribute__((noinline)) void asc_dump_gm(__gm__ T* input, uint32_t desc, uint32_t dump_size)
// UB内存上的数据打印
template<typename T>
__aicore__ static __attribute__((noinline)) void asc_dump_ubuf(__ubuf__ T* input, uint32_t desc, uint32_t dump_size)
// L1内存上的数据打印
template<typename T>
__aicore__ static __attribute__((noinline)) void asc_dump_l1buf(__cbuf__ T* input, uint32_t desc, uint32_t dump_size)
// L0C内存上的数据打印
template<typename T>
__aicore__ static __attribute__((noinline)) void asc_dump_cbuf(__cc__ T* input, uint32_t desc, uint32_t dump_size)
// GM内存上的数据打印
template<typename T>
__aicore__ static __attribute__((noinline)) void asc_dump(__gm__ T* input, uint32_t desc, uint32_t dump_size)
// UB内存上的数据打印
template<typename T>
__aicore__ static __attribute__((noinline)) void asc_dump(__ubuf__ T* input, uint32_t desc, uint32_t dump_size)
// L1内存上的数据打印
template<typename T>
__aicore__ static __attribute__((noinline)) void asc_dump(__cbuf__ T* input, uint32_t desc, uint32_t dump_size)
// L0C内存上的数据打印
template<typename T>
__aicore__ static __attribute__((noinline)) void asc_dump(__cc__ T* input, uint32_t desc, uint32_t dump_size)
以下接口仅支持Ascend 950PR/Ascend 950DT。
// BiasTable Buffer上的数据打印
template<typename T>
__aicore__ static __attribute__((noinline)) void asc_dump(__biasbuf__ T* input, uint32_t desc, uint32_t dump_size)
// Fixpipe Buffer上的数据打印
template<typename T>
__aicore__ static __attribute__((noinline)) void asc_dump(__fbuf__ T* input, uint32_t desc, uint32_t dump_size)
以下接口为simd_vf中所使用的asc_dump接口,仅支持Ascend 950PR/Ascend 950DT。
// 寄存器上的数据打印
template <typename T, typename U>
__simd_callee__ inline void asc_dump_reg(U& input, uint32_t desc, uint32_t dump_size)
// 寄存器上的数据打印
template <typename T, typename U>
__simd_callee__ inline void asc_dump(U& input, uint32_t desc, uint32_t dump_size)
// UB内存上的数据打印
template <typename T>
__simd_callee__ inline void asc_dump_ubuf(__ubuf__ T* input, uint32_t desc, uint32_t dump_size)
// UB内存上的数据打印
template <typename T>
__simd_callee__ inline void asc_dump(__ubuf__ T* input, uint32_t desc, uint32_t dump_size)
参数说明
表1 参数说明
| 参数名 | 输入/输出 | 描述 |
|---|---|---|
| T | 输入 | 待dump的数据类型。 |
| U | 输入 | 待dump的寄存器数据类型。 |
| input | 输入 | 所需打印的内存块的起始地址。 |
| desc | 输入 | 自定义信息。uint32_t类型,支持的数据范围是[0, 2^32 - 1]。 |
| dump_size | 输入 | 所需要打印的元素数量。 |
数据类型
- 针对Ascend 950PR/Ascend 950DT :bool、int8_t、uint8_t、hifloat8_t、fp8_e8m0_t、fp8_e5m2_t、fp8_e4m3fn_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、int64_t、uint64_t。
- 针对Atlas A3 训练系列产品/Atlas A3 推理系列产品 :bool、int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、int64_t、uint64_t。
- 针对Atlas A2 训练系列产品/Atlas A2 推理系列产品 :bool、int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、int64_t、uint64_t。
返回值说明
无
约束说明
- 针对Ascend 950PR/Ascend 950DT,在使用该接口打印L1 Buffer、BiasTable Buffer或Fixpipe Buffer数据时,HDK版本需要至少升级到25.7.0以上。
- 针对Ascend 950PR/Ascend 950DT,打印Fixpipe Buffer中的Tensor信息场景:
- Fixpipe Buffer保存的是硬件参数位域,打印结果不一定与L1 Buffer中的原始数据按位相同。前级Quant参数每8字节保留bit[7:0]、bit[31:13]和bit[46:37],期望值为
input & 0x00007fe0ffffe0ffULL;前级ReLU参数每4字节保留bit[31:13],期望值为word & 0xffffe000U。
- Fixpipe Buffer保存的是硬件参数位域,打印结果不一定与L1 Buffer中的原始数据按位相同。前级Quant参数每8字节保留bit[7:0]、bit[31:13]和bit[46:37],期望值为
使用该接口时,在每个核上dump的数据总量不能大于30KB,请开发者自行控制打印的内容数据量,超出则不会打印。
当
dump_size的大小超过了input的实际元素个数时,会出现未定义问题。在计算数据量时,若dump的总长度未对齐,需要考虑padding数据的影响。当进行非对齐dump时,如果实际dump的元素长度不满足32字节对齐,系统会自动在其末尾补充一定数量的padding数据(这部分数据并不会打印),以满足对齐要求。
SIMD场景下,单次调用本接口打印的数据总量不可超过打印大小限制,默认为30KB。使用时应注意,如果超出这个限制,则数据不会被打印。您可以通过acl.json中的
"simd_printf_fifo_size_per_core"字段进行配置,配置范围最小为1KB,最大为64MB(可通过aclInit接口调整)。当打印数据量较大时,建议增加缓存空间。pytorch调用和算子入图场景暂不支持该配置。在
simd_vf场景下,每个AIV核在单次asc_vf_call执行期间最多能使用2KB的UB空间;同一次asc_vf_call中的所有simd_vf的asc_dump和printf调用共享该预留空间。每次调用
simd_vf的asc_dump时,除实际dump数据外,还会固定占用72字节的管理信息;实际dump数据需要按32字节向上对齐。simd_vf调测接口不会检查上述预留空间是否越界。超过限制可能越界写入预留空间,导致打印结果异常,并可能影响算子执行。
调用示例
__gm__ half* src;
uint32_t desc = 1;
uint32_t dump_size = 32;
asc_dump_gm<half>(src, desc, dump_size);
SIMD VF调用示例:
__simd_vf__ inline void SimdVfDumpReg()
{
AscendC::Reg::RegTensor<float> src_reg;
uint32_t desc = 1;
uint32_t dump_size = 32;
asc_dump<float>(src_reg, desc, dump_size);
}