Skip to content

IterateAll

产品支持情况

  • Ascend 950PR/Ascend 950DT:不支持
  • Atlas A3 训练系列产品/Atlas A3 推理系列产品:支持
  • Atlas A2 训练系列产品/Atlas A2 推理系列产品:支持
  • Atlas 200I/500 A2 推理产品:不支持
  • Atlas 推理系列产品AI Core:不支持
  • Atlas 推理系列产品Vector Core:不支持
  • Atlas 训练系列产品:不支持

功能说明

通过设置结果矩阵Output在GM上的首地址,本接口一次性计算singleCo * singleDo * singleM大小的数据块,并写到结果矩阵Output中。

本接口提供单核内卷积计算能力,singleCo为多核切分后单个核内的输出通道大小;singleDo为多核切分后单个核内的Dout大小;singleM为多核切分后单个核内的M大小。singleCo、singleDo和singleM的大小通过SetSingleOutputShape接口设置。

函数原型

Text
__aicore__ inline void IterateAll(const AscendC::GlobalTensor<OutputT>& output, bool enPartialSum = false)

参数说明

参数名输入/输出描述
output输入Output在GM上的地址。类型为GlobalTensor。结果矩阵Output支持的数据类型为:half、bfloat16_t。
enPartialSum输入预留参数。

返回值说明

约束说明

  • IterateAll接口仅支持处理单batch数据,在多batch计算场景中,需要通过batch次循环调用IterateAll接口完成计算。

    Text
    for (uint64_t batchIter = 0; batchIter < singleCoreBatch; ++batchIter) {
        conv3dApi.SetInput(inputGm[batchIter * inputOneBatchSize]);
        conv3dApi.IterateAll(outputGm[batchIter * outputOneBatchSize]);
        conv3dApi.End();
    }
    
  • IterateAll接口必须在初始化接口及输入输出配置接口之后进行调用,完成Conv3D计算,调用顺序如下。

    Text
    Init(...);
    ... // 输入输出配置
    IterateAll(...);
    End();
    

调用示例

Text
TPipe pipe;
conv3dApi.Init(&tiling);
conv3dApi.SetWeight(weightGm);
if (biasFlag) {
    conv3dApi.SetBias(biasGm);
}
conv3dApi.SetInputStartPosition(diIdxStart, mIdxStart);
conv3dApi.SetSingleOutputShape(singleCoreCout, singleCoreDout, singleCoreM);
for (uint64_t batchIter = 0; batchIter < singleCoreBatch; ++batchIter) {
    conv3dApi.SetInput(inputGm[batchIter * inputOneBatchSize]);
    conv3dApi.IterateAll(outputGm[batchIter * outputOneBatchSize]);
    conv3dApi.End();
}

免责声明:本站内容由 asc-devkit 仓 master 分支自动编译生成,属于持续开发版本,可能存在缺陷,仅供预览与参考。如需稳定及商用资料,请查阅官方 昇腾社区