Skip to content

核内同步能力概述

为什么需要核内同步​

AI Core内部的执行单元(如MTE2搬运单元、Vector计算单元等)以异步并行的方式运行,在读写同一存储资源时可能存在数据依赖关系。为确保数据一致性及计算正确性,需通过同步控制协调操作时序。

针对NPU架构2201,硬件架构图如下,高亮部分展示了并行执行的计算单元和搬运单元。

图 1 架构图

针对NPU架构3510,硬件架构图如下,高亮部分展示了并行执行的计算单元和搬运单元。

图 2 架构图

下图示例描述了一个常见的Vector计算数据流:

  1. 先通过DMA执行单元将数据从Global Memory(GM)搬入到Local Memory;
  2. 进行计算;
  3. 然后再通过DMA执行单元将计算结果从Local Memory搬出到GM。

四个执行单元Scalar、Vector、DMA(MTE2)、DMA(MTE3)并行执行,若访问同一片Local Memory,需要同步机制来控制它们的访问时序:保证先搬入Local Memory后再计算,计算完成后再搬出。

硬件流水类型​

AI Core内部并行的指令流水类型和解释如下所示:

说明

不同的硬件架构,每一种硬件流水类型包含的具体流水会有所差异,详细介绍请参考硬件实现章节。

表1 指令流水类型和相关说明

流水类型含义
PIPE_S标量流水线,使用GlobalTensor/LocalTensor的GetValue函数时为此流水
PIPE_V矢量计算流水及部分硬件架构下的L0C Buffer->UB数据搬运流水
PIPE_M矩阵计算流水
PIPE_MTE1L1 Buffer ->L0A Buffer、L1 Buffer->L0B Buffer数据搬运流水
PIPE_MTE2GM->L1 Buffer、GM->UB等数据搬运流水
PIPE_MTE3UB->GM、L1 Buffer->GM等数据搬运流水
PIPE_FIXL0C Buffer->GM、L0C Buffer ->L1等数据搬运流水

核内同步分类​

对上述核内并行流水的同步控制可按表2选择。

表2 核内同步接口分类说明

同步类型接口适用场景差异点
多流水同步TQueSync同一核内具有数据依赖的不同类型流水指令之间的同步。跨硬件版本兼容接口。通过模板参数指定源流水和目的流水,再通过成员函数SetFlag/WaitFlag完成一对流水之间的同步。
多流水同步SetFlag/WaitFlag(ISASI)同一核内具有数据依赖的不同类型流水指令之间的同步。需要开发者显式指定一对源流水和目的流水。SetFlag在源流水前序指令的所有读写操作完成后设置标志位;WaitFlag阻塞目的流水,直至检测到该标志位,解除阻塞并清除标志位。该接口属于ISASI类接口,不能保证跨硬件版本兼容。
多流水同步Lock/Unlock同一核内不同流水之间的同步控制。通过MutexID锁定和释放指定流水。Lock根据MutexID获取Mutex,若Mutex已被锁定,将阻塞指定流水上后续指令的执行;Unlock在指定流水的前序指令执行完成后释放对应Mutex。与SetFlag/WaitFlag相比,该组合内聚性更强、与其他流水解耦,可简化反向同步逻辑,支持情况以接口文档为准。
单流水同步PipeBarrier同一核内具有数据依赖的相同类型流水指令之间的同步。同一流水中虽然指令是顺序执行,但后一条指令开始执行时前一条指令不一定执行结束。PipeBarrier保证前序指令中所有数据读写全部完成后,后序指令才开始执行。该接口不支持PIPE_S单流水同步;如果需要阻塞所有流水,可以使用PipeBarrier<PIPE_ALL>()。
内存访问屏障DataSyncBarrier需要等待此前已发出但尚未完成的内存访问指令全部执行完成。用于解决Scalar的内存依赖,通过模板参数指定需要等待的内存位置,确保屏障前后的内存访问指令按预期顺序完成。

以NPU架构2201为例,该硬件架构下所有合法的核内同步组合如表3和表4所示。其中,"不涉及"表示硬件层面不存在此种同步组合,"暂无应用场景"表示存在此种同步组合,但在实际开发场景中暂不需要使用。

表3 AIC中所有合法的核内同步组合

源流水PIPE_SPIPE_MPIPE_MTE1PIPE_MTE2PIPE_MTE3PIPE_FIX
PIPE_S不涉及不涉及不涉及不涉及不涉及不涉及
PIPE_M不涉及PipeBarrier<PIPE_M>()SetFlag<M_MTE1>(0)
WaitFlag<M_MTE1>(0)
SetFlag<M_MTE2>(0)
WaitFlag<M_MTE2>(0)
不涉及SetFlag<M_FIX>(0)
WaitFlag<M_FIX>(0)
PIPE_MTE1不涉及SetFlag<MTE1_M>(0)
WaitFlag<MTE1_M>(0)
PipeBarrier<PIPE_MTE1>()SetFlag<MTE1_MTE2>(0)
WaitFlag<MTE1_MTE2>(0)
SetFlag<MTE1_MTE3>(0)
WaitFlag<MTE1_MTE3>(0)
SetFlag<MTE1_FIX>(0)
WaitFlag<MTE1_FIX>(0)
PIPE_MTE2不涉及SetFlag<MTE2_M>(0)
WaitFlag<MTE2_M>(0)
SetFlag<MTE2_MTE1>(0)
WaitFlag<MTE2_MTE1>(0)
PipeBarrier<PIPE_MTE2>()SetFlag<MTE2_MTE3>(0)
WaitFlag<MTE2_MTE3>(0)
暂无应用场景
PIPE_MTE3不涉及不涉及SetFlag<MTE3_MTE1>(0)
WaitFlag<MTE3_MTE1>(0)
SetFlag<MTE3_MTE2>(0)
WaitFlag<MTE3_MTE2>(0)
PipeBarrier<PIPE_MTE3>()暂无应用场景
PIPE_FIX不涉及SetFlag<FIX_M>(0)
WaitFlag<FIX_M>(0)
SetFlag<FIX_MTE1>(0)
WaitFlag<FIX_MTE1>(0)
暂无应用场景暂无应用场景PipeBarrier<PIPE_FIX>()

表4 AIV中所有合法的核内同步组合

源流水PIPE_SPIPE_VPIPE_MTE2PIPE_MTE3
PIPE_S不涉及SetFlag<S_V>(0)
WaitFlag<S_V>(0)
SetFlag<S_MTE2>(0)
WaitFlag<S_MTE2>(0)
SetFlag<S_MTE3>(0)
WaitFlag<S_MTE3>(0)
PIPE_VSetFlag<V_S>(0)
WaitFlag<V_S>(0)
PipeBarrier<PIPE_V>()SetFlag<V_MTE2>(0)
WaitFlag<V_MTE2>(0)
SetFlag<V_MTE3>(0)
WaitFlag<V_MTE3>(0)
PIPE_MTE2SetFlag<MTE2_S>(0)
WaitFlag<MTE2_S>(0)
SetFlag<MTE2_V>(0)
WaitFlag<MTE2_V>(0)
PipeBarrier<PIPE_MTE2>()SetFlag<MTE2_MTE3>(0)
WaitFlag<MTE2_MTE3>(0)
PIPE_MTE3SetFlag<MTE3_S>(0)
WaitFlag<MTE3_S>(0)
SetFlag<MTE3_V>(0)
WaitFlag<MTE3_V>(0)
SetFlag<MTE3_MTE2>(0)
WaitFlag<MTE3_MTE2>(0)
PipeBarrier<PIPE_MTE3>()

什么时候需要开发者手动插入同步​

TPipe-TQue框架编程范式和毕昇编译器均支持自动同步,可减少开发者手动插入同步的工作量,但部分场景下仍需开发者手动完成。详细说明请参考自动同步。

免责声明:本站内容由 asc-devkit 仓 master 分支自动编译生成,属于持续开发版本,可能存在缺陷,仅供预览与参考。如需稳定及商用资料,请查阅官方 昇腾社区。